您当前的位置: 首页 > 

宝哥大数据

暂无认证

  • 0浏览

    0关注

    1029博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

任务提交与执行

宝哥大数据 发布时间:2019-04-20 09:45:17 ,浏览量:0

一、RDD转换及DAG构建 1.1、以textFile为例
  • 广播hadoop configuration, 通过BroadcastManager
  • 定义偏函数(jobConf: JobConf) => FileInputFormat.setInputPaths(jobConf, path), 用于以后构件输入路径
  • 构建hadoopRDD
  • 调用map(), 将hadoopRDD映射为MappedRDD
关注
打赏
1587549273
查看更多评论
立即登录/注册

微信扫码登录

0.0368s