Spark编程模型（下）.pdfVIP

Spark 编程模型 （下） --IDEA 搭建及开发 第 1 页 共 18 页 出自石山园，博客地址：/shishanyuan 目 录 1 安装INTELLIJ IDEA 3 1.1 安装软件3 1.1.1 下载IDEA安装文件3 1.1.2 解压缩并移动目录4 1.1.3 配置/etc/profile环境变量4 1.2 配置SCALA环境5 1.2.1 启动IntelliJ IDEA 5 1.2.2 下载Scala插件5 1.2.3 设置界面主题 7 2 使用IDEA编写例子9 2.1 创建项目9 2.1.1 设置项目基本信息9 2.1.2 设置Modules 10 2.1.3 配置Library 11 2.2 例子1：直接运行12 2.2.1 编写代码12 2.2.2 编译代码13 2.2.3 运行环境配置13 2.2.4 运行结果查看14 2.3 例子2 ：打包运行15 2.3.1 编写代码15 2.3.2 生成打包文件16 2.3.3 运行查看结果17 3 问题解决18 3.1 出现*** is already defined as object ***错误18 第 2 页 共 18 页 出自石山园，博客地址：/shishanyuan Spark 编程模型 （下） 1 安装IntelliJ IDEA IDEA 全称 IntelliJ IDEA ，是java 语言开发的集成环境，IntelliJ 在业界被公认为最好的java 开发工具之一，尤其在智能代码助手、代码自动提示、重构、J2EE 支持、Ant、JUnit、CVS 整 合、代码审查、 创新的 GUI 设计等方面的功能可以说是超常的。IDEA 是JetBrains 公司的产 品，这家公司总部位于捷克共和国的首都布拉格，开发人员以严谨著称的东欧程序员为主。 IDEA 每个版本提供 Community 和 Ultimate 两个版本，如下图所示，其中 Community 是完全免费的，而 Ultimate 版本可以使用 30 天，过这段时间后需要收费。从安装后使用对比 来看，下载一个Community 版本足够了。 1.1 安装软件 1.1.1 下载IDEA 安装文件 可以到 Jetbrains 官网 /idea/download/ ，选择最新的安装文 件。由于以后的练习需要在 Linux 开发Scala 应用程序，选择 Linux 系统IntelliJ IDEA14 ，如 下图所示： 第 3 页 共 18 页 出自石山园，博客地址：/shishanyuan 【注】在该系列配套资源的 install 目录下分别提供了 ideaIC-14.0.2.tar.gz(社区版) 和 ideaIU-14.0.2.tar.gz(正式版)安装文件 ，对于Scala 开发来说两个版本区别不大 1.1.2 解压缩并移动目录 把下载的安装文件上传到目标机器 ，用如下命令解压缩IntelliJ IDEA 安装文件 ，并迁移到/app 目录下： cd /home/hadoop/upload tar -zxf ideaIU-14.0.2.tar.gz sudo mv idea-IU -139.659.2 /app/idea -IU 1.1.3 配置/etc/profile 环境变量 使用如下命令打开/etc/profile 文件： sudo vi /etc/profile 确认JDK 配置变量正确配置 （参见第2 节《Spark 编译与部署》中关于基础环境搭建介绍）： export JAVA_HOME=/usr/lib/java/jdk1.7.0_55 第 4 页 共 18 页