第20课 ： SPARK分组TOPN 算法（Scala） 必须掌握！

1、输入文件

Spark,100 Hadoop,62 Flink,77 Kafka,91 Hadoop,93 Spark,78 Hadoop,69 Spark,98 Hadoop,62 Spark,99 Hadoop,61 Spark,70 Hadoop,75 Spark,88 Hadoop,68 Spark,90 Hadoop,61

2、运行结果

Flink: 77 Hadoop: 61 61 62 62 68 Kafka: 91 Spark: 70 78 88 90 98

 

3、源代码

package com.dt.spark

import org.apache.spark.SparkConf import org.apache.spark.SparkContext

object TopNGroup {     def main(args:Array[String]){       val conf = new SparkConf() //创建SparkConf对象       conf.setAppName("Wow,TopNGroup App!") //设置应用程序的名称，在程序运行的监控界面可以看到名称       conf.setMaster("local") //此时，程序在本地运行，不需要安装Spark集群              val sc = new SparkContext(conf) //创建SparkContext对象，通过传入SparkConf实例来定制Spark运行的具体参数和配置信息       sc.setLogLevel("WARN")       val lines = sc.textFile("G://IMFBigDataSpark2016//tesdata//topNGroup1.txt", 1) //读取本地文件并设置为一个Partion              val pairs=lines.map { line => (line.split(",")(0),line.split(",")(1).toInt) }        val grouped=pairs.groupByKey         val groupedTop5=grouped.map(grouped=>       {         (grouped._1,grouped._2.toList.sortWith(_{       println(pair._1+":")       pair._2.foreach { println }        })     sc.stop()           } }

 

4、结果截图