Spark--TopN

前言

为了获取一列值的前五个最值，我们需要对该列数据进行排序， 取前五个，但是sortByKey 是按照(key,value)格式，对key进行排序，所以我们需要将数据构建成（key， value）形式，然后按照前面Spark-二次排序，然后将key剔除， 剩下value为排序好的序列， 使用take获取前五个值。

具体实现

import org.apache.spark._
object TopNTest {
     def main(args: Array[String]): Unit = {
        val conf = new SparkConf().setMaster("local[2]").setAppName("SecordSort")
        val sc = new SparkContext(conf);

        val lines = sc.textFile("C:\\Users\\12285\\Desktop\\test");
        //将源数据转化为(key, value)的格式， 便于sortByKey排序
        val pairs = lines.map(line => (line.toInt, line));
        //降序
        val sortedPairs = pairs.sortByKey(false);
        //剔除key
        val sortedData = sortedPairs.map(x=>x._2);
        //获取前6个,
        val top5 = sortedData.take(5);
        //由于take将获取结果生成一个Array ,此处不用collect
        top5.foreach(println);
     }
}

如果想去重， 使用distinct()

val pairs = lines.map(line => (line.toInt, line)).distinct();