云安全技术与应用 云安全技术与应用 6.6.1云安全服务简介.pptxVIP

编写与调试Spark程序编写与调试Spark程序创建一个package，鼠标放在src目录下，点击右键，依次选择“New”?“Package”，在弹出的框中写入package名称，比如：com.example.spark编写与调试Spark程序新建Scala Class，Name为com.example.spark.SparkPi编写与调试Spark程序新建Scala Class，Name为com.example.spark.SparkPi编写与调试Spark程序将以下代码贴入SparkPi文件中：import scala.math.randomimport org.apache.spark._/** Computes an approximation to pi */object SparkPi {def main(args: Array[String]) {val conf = new SparkConf().setAppName(Spark Pi)val spark = new SparkContext(conf)val slices = if (args.length 0) args(0).toInt else 2val n = 100000 * slicesval count = spark.parallelize(1 to n, slices).map { i =val x = random * 2 - 1val y = random * 2 - 1if (x*x + y*y 1) 1 else 0}.reduce(_ + _)println(Pi is roughly + 4.0 * count / n)spark.stop()}}编写与调试Spark程序效果图如示。编写与调试Spark程序本地编译运行程序，修改运行参数。编写与调试Spark程序在VM arguments:一栏中添加“-Dspark.master=local –Dspark.app.name=SparkPi”编写与调试Spark程序运行程序。编写与调试Spark程序 运行程序。编写与调试Sparck程序运行程序。Thanks