您当前的位置: 首页 >  ar

段智华

暂无认证

  • 0浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

第114课:SparkStreaming+Kafka+Spark SQL+TopN+Mysql+KafkaOffsetMonitor电商广告点击综合案例实战(详细内幕版本)

段智华 发布时间:2016-06-05 17:24:55 ,浏览量:0

第114课:Spark Streaming电商广告点击综合案例实战(测试版本)

 

第114课加强版:SparkStreaming+Kafka+createDirectStream+KafkaOffsetMonitor解决内幕

 http://blog.csdn.net/duan_zhihua/article/details/52006054

 

整体架构

 补充更正: 使用KafkaUtils.createDirectStream创建Spark Streaming输入数据来源input Stream,No receivers方式,没有使用zookeeper去存储offsets。

 

 /**    * Create an input stream that directly pulls messages from Kafka Brokers    * without using any receiver. This stream can guarantee that each message    * from Kafka is included in transformations exactly once (see points below).    *

关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.0428s