第9课：使用ieda开发spark实战精选.pdfVIP

课程内容 使用idea 开发spark 实战 使用idea 开发spark 的Local 和Cluster 一： 配置开发环境 1. 要在本地安装好java 和scala 。 由于spark1.6 需要scala 2.10.X 版本的。推 2.10.4，java 版本最好是1.8。所以提前我 们要需要安装好java 和scala 并在环境变量中配置好 2. 下载 IDEA 社区版本，选择windows 版本并按照配置。 安装完成以后启动 IDEA，并进行配置，默认即可，然后点击ok 以后，设置 ui 风格， 然后点击next 会出现插件的选择页面，默认不需求修改，点击next，选择安装scala 语 言，点击 install 按钮 （非常重要，以为要开发spark 程序所以必须安装），等安装完 成以后点击start 启动 IDEA。 3. 创建scala 项目 点击 create new project ，然后填写project name 为“Wordcount” ，选择项目的保存 地址 project locatio 。 然后设置project sdk 即java 的安装目录。点击右侧的new 按钮，选择jdk ，然后选 择java 的安装路径即可。 然后选择scala sdk 。点击右侧的create ，默认出现时2.10.x 版本的scala ，点击ok 即可。然后点击finish 。 4. 设置 spark 的jar 依赖。 点击file-project structure 来设置工程的libraries。核心是添加spark 的jar 依赖。 选 择 Libraries ， 点击右侧的加号 ， 选择 java ， 选择 spark1.6.0 的 spark-1.6.0-bi -hadoop2.6\lib\spark-assembly-1.6.0-hadoop2.6.0.jar 。 点击ok 。稍等片 刻后然后点击ok (Libraries 作用于WordCount)，然后点击apply，点击ok 。（这一步很 重要，如果没有无法编写spark 的代码） 二： 编写代码 1. 在src 下建立spark 程序工程包 在src 上右击 new -package 填入package 的name 为com.dt.spark 。 2. 创建scala 的入口类。 在包的名字上右击 选择 new -scala class 。在弹出框中 填写Name ，并制定kind 为 object ，点击ok 。 3. 编写local 代码 package com.dt.spark import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.rdd.RDD /** * 使用Scala 开发本地测试的Spark WordCount 程序 * @author DT 大数据梦工厂 * 新浪微博：/ilovepains/ */ object WordCount { def main(args: Array[String]){ /** * 第 1 步：创建Spark 的配置对象SparkConf ，设置Spark 程序的运行时 的配置信息， * 例如说通过setMaster 来设置程序要链接的Spark 集群的Master 的URL, 如果设置