您当前的位置: 首页 >  ar

宝哥大数据

暂无认证

  • 3浏览

    0关注

    1029博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

Spark中 sortByKey被划分到transformation中,却有action操作原因

宝哥大数据 发布时间:2018-09-12 09:08:46 ,浏览量:3

今天跑一个任务, 在spark history Web UI中,sortByKey会触发一个job

这里写图片描述

???sortByKey不是transform吗?

原因: Spark的sortBy,sortByKey会触发一个新的任务,这个Job是用于评估数据分布,评估结果用于后续的排序操作,并不是真正的排序操作。 这里写图片描述

关注
打赏
1587549273
查看更多评论
立即登录/注册

微信扫码登录

0.0438s