圆周率pi的计算:
1、原理 r是圆的半径 圆的面积公式:C = π × r^2 圆面积=x^2+y^2 正方形面积公式:S = k^2 边长为1的1/4的圆面积 π*1^2 /4; 边长为1的正方形面积 1
那设想边长为1的1/4的圆中的某个点落到边长为1的正方形中的概率为p,则p=(π*1^2 /4)/1 ,即π=4p;p为概率,
也可设想边长为1的圆面积π × 1^2,边长为2的正方形面积2*2=4,圆中点落入正方形的概率p=π/4,即π=4p;p为概率,
2、这样,π就转化成了概率的计算,体现大数据并行计算的优势,计算更多的点落入到1/4圆中,计算量越大,π值越准确
3、源代码: package org.apache.spark.examples
import scala.math.random
import org.apache.spark._
/** Computes an approximation to pi */ object SparkPi { def main(args: Array[String]) { val conf = new SparkConf().setAppName("Spark Pi") val spark = new SparkContext(conf) val slices = if (args.length > 0) args(0).toInt else 2 //分片数 val n = math.min(100000L * slices, Int.MaxValue).toInt //为避免溢出,n不超过int的最大值 val count = spark.parallelize(1 until n, slices).map { i => val x = random * 2 - 1 //小于1的随机数 val y = random * 2 - 1 //小于1的随机数 if (x*x + y*y < 1) 1 else 0 // 点落到圆的值,小于1计一次,大于1超出了圆面积就不算 }.reduce(_ + _) //汇总累加落入圆中的次数 println("Pi is roughly " + 4.0 * count / n) // count / n是概率,count落入圆中次的数,n是总次数; spark.stop() } }
4、spark运行1万次pi,jvm可以复用的,时间耗时秒级; 如果hadoop mr 运行1万次,需要1万台设备,jvm不复用,耗时2天 spark运行1百万次,时间也很快,强大的计算优势!
本地的小测试
scala> :paste // Entering paste mode (ctrl-D to finish)
val count = (1 until 10).map { i => val x = random * 2 - 1 val y = random * 2 - 1 if (x*x + y*y < 1) 1 else 0 }.reduce(_ + _)
// Exiting paste mode, now interpreting.
count: Int = 8
scala> count res2: Int = 8
scala> (1 until 10).map(println) 1 2 3 4 5 6 7 8 9 res5: scala.collection.immutable.IndexedSeq[Unit] = Vector((), (), (), (), (), ( ), (), (), ())