第8课：实战解析IDE开发spark程序.pdfVIP

使用 ide 开发spark的Local和Cluster 一： 配置开发环境 1. 要在本地安装好java和scala。 由于spark1.6需要scala2.10.X版本的。推荐 2.10.4，java版本最好是1.8。所以提前 们要需要安装好java和scala 并在环境变量中配置好。 2. 打开ide 新建scalaproject 点击 file-new-ScalaProject,在弹出的对话框中弹性projectname 为 WordCount”， 默认点击next，点击finish 的。 3. 修改scala版本 项目创建完成后 默认使用的是scala 的2.11.7 版本。要手动将版本换成2.10.X。在项 目名称右击选择 properties，在弹出窗口 点击，scalaCompiler，在右侧窗口，选中 Use Projectsettings, 将 scalaInstallation 修改为 Latest2.10bundle(dynamic).点击apply， 点击ok。scala版本变成2.10.6。 4. 找到依赖的sparkjar文件并导入到eclipse 中。 所依赖的jar文件是 spark-1.6.0-bin-hadoop2.6\lib\spark-assembly-1.6.0-hadoop2.6.0.jar。 在项目名称上右击，选择 buildpath-configurebuildpath。 在弹出框中点击library， 点击右侧的addExternalJARs，然后选择 park-assembly-1.6.0-hadoop2.6.0.jar 点击打开，然后点击ok。 二：spark程序开发步骤 1. 在src 下建立spark程序工程包 在src上右击 new-package 填入package 的name为com.dt.spark 。 2. 创建scala的入口类。 在包的名字上右击 选择 new-scala class 。在弹出框中 Name 中，在 增加 WordCount。点击finish。如下图所示。 在方法内部 讲关键字class 改成object ，然后创建main 方法。（local模式代码）方法如 下 importorg.apache.spark.SparkConf importorg.apache.spark.SparkContext importorg.apache.spark.rdd.RDD /** * 使用Scala开发本地测试的SparkWordCount程序 *@authorDT大数据梦工厂 * 新浪微博：/ilovepains/ */ objectWordCount{ defmain(args:Array[String]){ /** * 第1步：创建Spark 的配置对象SparkConf，设置Spark程序的运行时的配置信息， * 例如说通过setMaster来设置程序要链接的Spark集群的Master的URL,如果设置 * 为local，则代表Spark程序在本地运行，特别适合于机器配置条件非常差（例如 * 只有1G的内存）的初学者 * */ valconf=newSparkConf()//创建SparkConf对象 conf.setAppName(Wow,MyFirstSparkApp!)//设置应用程序的名称，在程序运行的监 控界面可以看到名称 conf.setMaster(local)//此时，程序在本地运行，不需要安装Spark集群 /** * 第2步：创建SparkContext对象 *SparkContext是Spark程序所有功能的唯一入口，无论是采用Scala、Java、Python、 R等都必须有一个SparkContext *SparkContext 核心作用：初始化Spark 应用程序运行所需要的核心组件，包括 DAGScheduler、TaskScheduler、SchedulerBackend * 同时还会负责Spark程序往Master注册程序等 *SparkC