第4课: Spark Streaming的Exactly-One的事务处理和不重复输出彻底掌握
根据家林大神课程编写!
事务处理是至关重要的。事务处理例如:银行转账,A给B转账,B不可能多次收到A的转账;A转给B多次,而B只收到1次,这也不可能。事务处理:事务一定会被处理而且一定只会处理1次。
在spark streaming,spark运行出错的时候不能保证输出的时候也是事务级别的,例如Task处理一半的时候崩溃了,从语义上保证事务级别的处理,处理仅被处理1次,但如果数据存入数据库,可能被存入多次。例如广告计费程序,接收前端的广告点击流,广告点击计算的时候,有且只被处理1次,然后交给后台的计费程序,spark streaming基于spark,任务失败的时候会进行重试,这个时候可能导致一个结果:点击的有效数据可能会多次写入下一步的计费程序中。
总结一下:一方面能够处理且只被处理1次,第二点:能够输出且只被输出1次。例如A给B转账,A一定会被扣除1次,B收到A的转账费用且只收到1次。spark streaming进行事务处理,有没有可能完全处理失败呢?这个可能性不大。spark是BatchInterval批处理的方式进行流处理。spark streaming应用程序启动的时候分配相关的资源,而且调度的过程中可以动态的分配资源,除非集群中所有的硬件全部崩溃,一般情况下都一定会被处理,spark streaming不大可能处理完全失败。
整个spark streaming写程序的的时候分成Driver和Executor二部分。这里是spark streaming的application,其Driver的核心是St