您当前的位置: 首页 >  ar

段智华

暂无认证

  • 0浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

第222讲:Spark Shuffle Pluggable框架ShuffleWriter解析

段智华 发布时间:2017-05-01 07:17:11 ,浏览量:0

第222讲:Spark Shuffle Pluggable框架ShuffleWriter解析

ShuffleWriter是ShuffleMapTask将shuffle数据写入本地的接口。不同的shuffle有不同的实现。

 在ShuffleMapTask内部中获取shuffleWtriter实例,将数据记录写入shuffle系统  

private[spark] abstract class ShuffleWriter[K, V] {
  /** Write a sequence of records to this task's output */
  @throws[IOException]
  def write(records: Iterator[Product2[K, V]]): Unit

  /** Close this writer, passing along whether the map completed */
  def stop(success: Boolean): Option[MapStatus]
}

1,write方法:将一系列记录写入task任务的输出。这里的records记录是一个Iterator,每一个元素是Key-Value。Product2是一个trait。

write如果需要做聚合,我们需将数据做聚合。

 
2,stop:写入完成。提交返回一个 MapStatus
                
关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.0799s