您当前的位置: 首页 >  大数据

段智华

暂无认证

  • 2浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

大数据Spark “蘑菇云”行动第81课:Spark GraphX 综合案例作业讲解和源码深度剖析

段智华 发布时间:2016-11-17 21:04:17 ,浏览量:2

大数据Spark “蘑菇云”行动第81课:Spark GraphX 综合案例作业讲解和源码深度剖析
 
聚合操作是分布式系统中最重要的操作
 
which fields should be included in the [[EdgeContext]] passed to the  `sendMsg` function. If not all fields are needed, specifying this can improve performance.
 
 
 
 val oldestFollowers: VertexRDD[(String, Int)] = graph.aggregateMessages[(String, Int)](       triplet => { // Map Function           // Send message to destination vertex containing name and age           triplet.sendToDst(triplet.srcAttr._1, triplet.srcAttr._2)       },       // Compare age       (a, b) => if( a._2 > b._2 ) a else b // Reduce Function     )
 
 
 今天作业,研究Spark中join的不同类型,且用代码实例的方式实战演示这种不同
关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.1499s