第2期Spark纯实战公益大讲坛：通过案例实战掌握Spark编程模型内幕
运行spark代码：
sc.textFile("hdfs://...").faltMap(_.split("")).map(_,1).reduceByKey(_+_).map(x=>(x._2),x._1)). sortByKey(false).map(x=>(x._2),x._1)).saveASTextFile(hdfs://...")
应用于广告点击排名
1、sc ：spark shell运行的上下文
2、textFile("hdfs://...") 从hadoop hdfs中读取文件
3、faltMap(_.split("")) 将字符串以空格拆分
4、map(_,1) 统计单词计数
5、reduceByKey(_+_). 汇总累计
6. map(x=>(x._2),x._1)). 交换对偶对，次数在前，按单词出现次数排序
7、sortByKey(false). 按x._2排序 false是降序
8、map(x=>(x._2),x._1)). 再次交换对偶次序，单词在前
9、saveASTextFile(hdfs://...") 保存在hadoop hdfs文件中
为何有job0 运行？因为里面用到了RangePartitioner
DT大数据微信公众账号：DT_Spark
DT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接地址：http://pan.baidu.com/share/home?uk=4013289088&view=share#category/type=0&qq-pf-to=pcqq.group
