第217讲：Spark Shuffle中HashShuffleWriter工作机制和源码详解

第217讲：Spark Shuffle中HashShuffleWriter工作机制和源码详解

家林大神视频笔记记录，欢迎转载。

1,获取shuffleManager

  Spark Stage里面除了最后一个stage，前面都是map级别，图中Stage2里面的任务是ShuffleMapTask，而ShuffleMapTask的runTask方法要从SparkEnv里面找shuffleManager，获取shuffleManager。

override def runTask(context: TaskContext): MapStatus = {
    // Deserialize the RDD using the broadcast variable.
    val deserializeStartTime = System.currentTimeMillis()
    val ser = SparkEnv.get.closureSerializer.newInstance()
    val (rdd, dep) = ser.deserialize[(RDD[_], ShuffleDependency[_, _, _])](
      ByteBuffer.wrap(taskBinary.value), Threa