您当前的位置: 首页 >  ar

段智华

暂无认证

  • 0浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

第15课:Spark Streaming源码解读之No Receivers彻底思考 本节课分享Spark Streaming源码解读之No Receivers彻底思考,企业级开发Spark Strea

段智华 发布时间:2017-09-10 08:01:28 ,浏览量:0

第15课:Spark Streaming源码解读之No Receivers彻底思考

本节课分享Spark Streaming源码解读之NoReceivers彻底思考,企业级开发Spark Streaming的程序越来越多的采用No Receiver的方式,No Receiver的方式有自己的优势,例如:更强的控制的自由度;语义一致性.....;

Spark Streaming支持2种方式:一种是Receiver的方式来接收数据的输入;一种是No Receiver的方式,也就是Direct Approach的方式,实质上讲,No Receiver的方式更符合我们读取数据和操作数据的思路,因为Spark本身是一个计算框架,作为一个计算框架,底层有数据来源,如果没有Receiver的方式,我们直接操作数据来源中的数据,这个是更天然更自然的方式。

如果要操作数据来源,肯定要一个封装器,那这个封装器是什么?是什么类型的?毫无疑问,是RDD类型的,Spark Streaming为这个事情推出了一个自定义的RDD(KafkaRDD),数据来源不同,对不同的数据源推出了不同的自定义的RDD。

offset是一个范围,就像HDFS中的数据,读取HDFS的目录,表面是一个目录,其实也是一个offset,说明哪片数据是你的。

首先从RDD的角度来分析K、V,Decoder是因为传输的时候需要编码,所以需要Decoder,Kafka就是一个普通的RDD,就像读取Hbase,也需定义一个RDD,要直接访问Kafka的数据,需要定义一个RDD,这里面有

关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.0430s