第15课:Spark Streaming源码解读之No Receivers彻底思考
本节课分享Spark Streaming源码解读之NoReceivers彻底思考,企业级开发Spark Streaming的程序越来越多的采用No Receiver的方式,No Receiver的方式有自己的优势,例如:更强的控制的自由度;语义一致性.....;
Spark Streaming支持2种方式:一种是Receiver的方式来接收数据的输入;一种是No Receiver的方式,也就是Direct Approach的方式,实质上讲,No Receiver的方式更符合我们读取数据和操作数据的思路,因为Spark本身是一个计算框架,作为一个计算框架,底层有数据来源,如果没有Receiver的方式,我们直接操作数据来源中的数据,这个是更天然更自然的方式。
如果要操作数据来源,肯定要一个封装器,那这个封装器是什么?是什么类型的?毫无疑问,是RDD类型的,Spark Streaming为这个事情推出了一个自定义的RDD(KafkaRDD),数据来源不同,对不同的数据源推出了不同的自定义的RDD。
offset是一个范围,就像HDFS中的数据,读取HDFS的目录,表面是一个目录,其实也是一个offset,说明哪片数据是你的。
首先从RDD的角度来分析K、V,Decoder是因为传输的时候需要编码,所以需要Decoder,Kafka就是一个普通的RDD,就像读取Hbase,也需定义一个RDD,要直接访问Kafka的数据,需要定义一个RDD,这里面有