您当前的位置: 首页 >  ar

段智华

暂无认证

  • 0浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

第4课: Spark Streaming的Exactly-One的事务处理和不重复输出彻底掌握

段智华 发布时间:2017-08-30 21:28:45 ,浏览量:0

第4课: Spark Streaming的Exactly-One的事务处理和不重复输出彻底掌握

根据家林大神课程编写!

事务处理是至关重要的。事务处理例如:银行转账,A给B转账,B不可能多次收到A的转账;A转给B多次,而B只收到1次,这也不可能。事务处理:事务一定会被处理而且一定只会处理1次。

在spark streaming,spark运行出错的时候不能保证输出的时候也是事务级别的,例如Task处理一半的时候崩溃了,从语义上保证事务级别的处理,处理仅被处理1次,但如果数据存入数据库,可能被存入多次。例如广告计费程序,接收前端的广告点击流,广告点击计算的时候,有且只被处理1次,然后交给后台的计费程序,spark streaming基于spark,任务失败的时候会进行重试,这个时候可能导致一个结果:点击的有效数据可能会多次写入下一步的计费程序中。

总结一下:一方面能够处理且只被处理1次,第二点:能够输出且只被输出1次。例如A给B转账,A一定会被扣除1次,B收到A的转账费用且只收到1次。spark streaming进行事务处理,有没有可能完全处理失败呢?这个可能性不大。spark是BatchInterval批处理的方式进行流处理。spark streaming应用程序启动的时候分配相关的资源,而且调度的过程中可以动态的分配资源,除非集群中所有的硬件全部崩溃,一般情况下都一定会被处理,spark streaming不大可能处理完全失败。

整个spark streaming写程序的的时候分成Driver和Executor二部分。这里是spark streaming的application,其Driver的核心是St

关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.0447s