您当前的位置: 首页 >  ar

段智华

暂无认证

  • 0浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

第14课:Spark Streaming源码解读之State管理之updateStateByKey和mapWithState解密

段智华 发布时间:2016-05-29 08:44:06 ,浏览量:0

第14课:Spark Streaming源码解读之State管理之updateStateByKey和mapWithState解密 /* 王家林老师授课http://weibo.com/ilovepains  每天晚上20:00YY频道现场授课频道68917580*/

1 updateStateByKey解密 2 mapWithState 解密

Spark Streaming 状态管理:updateStateByKey 、mapWithState 两个典型方法

Spark Streaming 按batch duration划分job,计算过去半小时、1天或一周的数据,这时候不可避免的需要状态管理。如一整天的商品的点击量排名。

spark博大精深,为实现自己的梦想,不断的奋斗!通过spark研究jvm、研究分布式计算、研究架构设计、软件工程、图计算、机器学习、以spark为载体,也可以学习英语。

 

 

updateStateByKey: DStream中找不到updateStateByKey方法,通过隐式转换 new PairDStreamFunctions[K, V](stream),在PairDStreamFunctions中必须有updateStateByKey,从地狱中召唤出来的功能updateStateByKey,使用完以后又回到地狱了。

 

 

PairDStreamFunctionsPairDStreamFunctions

关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.0421s