您当前的位置: 首页 > 

宝哥大数据

暂无认证

  • 0浏览

    0关注

    1029博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

BlockManagerMaster

宝哥大数据 发布时间:2019-04-16 09:04:02 ,浏览量:0

一、初始化,

在SparkEnv中初始化

1.1、BlockManagerMaster初始化

BlockMangerMaster负责对Block的管理和协调,

    val blockManagerMaster = new BlockManagerMaster(registerOrLookupEndpoint(
      BlockManagerMaster.DRIVER_ENDPOINT_NAME,
      new BlockManagerMasterEndpoint(rpcEnv, isLocal, conf, listenerBus)),
      conf, isDriver)

需要注册Endpoint

    //注册或者查找EndPoint
    def registerOrLookupEndpoint(
        name: String, endpointCreator: => RpcEndpoint):
      RpcEndpointRef = {
      if (isDriver) {  //Driver和Executor要区分
        logInfo("Registering " + name)
        rpcEnv.setupEndpoint(name, endpointCreator)
      } else { // executor需要创建一个EndpointRef
        RpcUtils.makeDriverRef(name, conf, rpcEnv)
      }
    }

关注
打赏
1587549273
查看更多评论
立即登录/注册

微信扫码登录

0.0422s