您当前的位置: 首页 >  ar

183 Spark 创建RDD的两种方式

杨林伟 发布时间:2019-08-14 15:42:29 ,浏览量:2

1)由一个已经存在的Scala集合创建。

val rdd1 = sc.parallelize(Array(1,2,3,4,5,6,7,8))

2)由外部存储系统的数据集创建,包括本地的文件系统,还有所有Hadoop支持的数据集,比如HDFSCassandraHBase

val rdd2 = sc.textFile("hdfs://node1.itcast.cn:9000/words.txt")
关注
打赏
1688896170
查看更多评论

杨林伟

暂无认证

  • 2浏览

    0关注

    3183博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文
立即登录/注册

微信扫码登录

0.0529s