您当前的位置: 首页 >  ar

段智华

暂无认证

  • 0浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

Spark视频王家林大神第1课: 30分钟彻底理解Spark核心API发展史:RDD、DataFrame、DataSet

段智华 发布时间:2018-01-24 13:09:06 ,浏览量:0

Spark视频王家林大神第1课: 30分钟彻底理解Spark核心API发展史:RDD、DataFrame、DataSet

本节通过Spark核心API的发展史,带领大家学习和理解Spark的内幕,在Spark的发展史上,经历了三代API:第一代是RDD、第二代是DataFrame、第三代是DataSet。RDD是Spark中绝对的核心和基础性的抽象,DataFrame是Spark 1.3.x推出的,为了处理交互型的关系数据库的数据,数据可以来源于Oracle、Mysql或者JSON,可以支撑各种格式,也可来自于RDD,或者HDFS的分布式文件系统;Spark 1.6.x的时候推出了第三代关键性的DataSet。之所以在机器学习的第一节以RDD第一代的核心API、DataFrame第二代的核心API、以及Spark1.6.x推出的实验性API并在Spark 2.x成熟的DataSet,以此为一条线贯通Spark前前后后的内容,有几个方面的原因:

1)第一点:作为开发者,无论是做机器学习的开发还是做其他方面的开发,Spark

这三代API都是绕不过去的,开发者必须首先理解这三代API。

2)第二点:我们编写代码的时候,不同的Spark版本,例如:Spark 1.3.x之前的

版本,Spark 1.3.x到Spark 1.6.x之间的版本,以及已经推出的Spark 2.0.x的版本,这三代API的编程风格虽然有一定的相似性,但是有所差异的。从第二个方面的角度考虑,我们写代码绕不开这三代API,而每一代API都带来了性能的极大提升。如果有机器学习的开发经验,体验应是非常的深刻,分布式系统性能一定是第一位的࿰

关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.0446s