3Spark开发环境搭建.ppt

Spark开发环境搭建 —by 球哥 大数据学习网介绍 我们的网址是： 我们提供专业的大数据学习视频，包括Hadoop，Spark，Storm，Mahout，机器学习等。 我们定价合理，让每个人都学得起大数据。 友情提示 本系列课程主要由Learning.Spark这本书整理而来。 本系列课程主要目的，帮助想要学习Spark的同学入门。 本系列课程中的ppt可自由传播，无需任何授权，但不要用于商业用途哦。 本系列课程中的视频不要自由传播哦，如果同学们觉得课程价格不合理，欢迎在下面的群中反馈，我们会考虑调整价格的。 Spark学习交流群：368770186，371896553 Spark开发环境搭建 使用Scala+IntelliJ IDEA+Sbt搭建开发环境 搭建开发环境 安装Scala scala下载地址：/download/2.10.3.html 本系列课程中，相关软件下载网盘地址(链接：/s/1qWFSTze 密码：lszc) 默认安装选项会自动配置环境变量。 如果没有自动配置，进行环境变量配置 SCALA_HOME: C:\Program Files (x86)\scala\ Path后面加上 ;%SCALA_HOME%\bin 搭建开发环境 IntelliJ IDEA的下载，安装 下载地址：/idea/ 激活码如下： key:tommy value:49164-YPNVL-OXUZL-XIWM4-Z9OHC-LF053 key:itey value:91758-T1CLA-C64F3-T7X5R-A7YDO-CRSN1 搭建开发环境 IntelliJ IDEA常用的设置 在IntellJ/bin/idea64.exe.vmoptions(64位，物理内存大，建议增大)，加大IDEA的启动内存： -Xms512m -Xmx1024m -XX:MaxPermSize=512m 搭建开发环境 IntelliJ IDEA常用的设置 主题和颜色： Settings – IDE Settings – Appearance – Theme:Darcula 然后把下面override font选项勾上，选择Yahei 14号字体。 编辑器界面字体设置： 可以在Editor – ColorsFonts – Fonts另存为一个新的主题，并在这个新主题中修改配置。 光标所在行背景颜色： Editor – ColorsFonts – General – Caret row，选择蓝色背景，以便具有较大色差。 搭建开发环境 插件安装 FileSettingsPlugins，搜索Scala直接安装，安装完后会提示重新启动。这个插件中有scala和sbt。 无需再单独下载sbt插件。 搭建开发环境 IntelliJ IDEA常用的设置 IDEA可以为每个项目指定不同版本的JDK，并且需要开发者手动配置项目的所使用的JDK版本。配置方法如下： 单击File | Project Structure菜单项，打开ProjectStructure对话框； 在左侧列表框中，选择SDKs列表项，进入SDK配置页面； 若中间的SDK列表框没有选项，则单击“+”号创建一个JDK列表项； 选择JDK列表项，在SDK ’JDK’选项卡页面中，单击JDK home path项目的浏览按钮，定位JDK安装路径并保存 搭建开发环境 build.sbt文件 使用bt 0.13进行编译 //导入支持编译成jar包的一些函数(这些函数是sbt-assembly插件中的) import AssemblyKeys._ name := SparkApp version := 1.0 scalaVersion := 2.10.3 libraryDependencies ++= Seq(// Spark dependency org.apache.spark % spark-core_2.10 % 1.2.0 % provided, net.sf.jopt-simple % jopt-simple % 4.3, joda-time % joda-time % 2.0) 搭建开发环境 //该声明包括assembly plug-in功能 assemblySettings // 使用 assembly plug-in配置jar jarName in assembly := my-project-assembly.jar // 从我们的assembly JAR中排除Scala, 因为Spark已经绑定了Scala assemblyOption in assembly :=(assemblyOption in assembly).value.copy(includeScala = f