编译Spark源码编译安装教程.pdfVIP

编译spark-1.6.3 源代码生成安装包 编译环境： OS ：CentOS7.4 x86_64 编译前准备： 1.操作系统: 2 安装Java 8 环境8u172 下载Java 8SE jdk-8u172-linux-x64.tar.gz 安装Java 8SE tar xvfz jdk-8u172-linux-x64.tar.gz -C /usr cd /usr ln -s jdk1.8.0_172 jdk 在文件/etc/profile 中增加如下： cat /etc/profileEOF JAVA_HOME=/usr/jdk export JAVA_HOME PATH=\$JAVA_HOME/bin:\$PATH export PATH EOF 3 安装maven 下载：apache-maven-3.5.3-bin.tar.gz 安装： cd /root/Desktop/1 #该目录是介质所在目录 tar xvfz apache-maven-3.5.3-bin.tar.gz -C /usr mv /usr/apache-maven-3.5.3 /usr/maven cat /etc/profileEOF MAVEN_HOME=/usr/maven export MAVEN_HOME PATH=/usr/maven/bin:\$PATH export PATH EOF source /etc/profile logout 用户后重新login 用户,然后 检查安装是否正确 mvn -version 下载spark-1.6.3 源码 spark 源码的下载方法： 1、官网下载 2、Github 下载（仅source code） 方法一： mkdir /usr/spark cd /usr/spark git clone /apache/spark.git cd /usr/spark git branch -a git checkout v1.6.3 方法二： /downloads.html 下载spark-1.6.3 版本 解压缩SPARK 源代码 tar xvf spark-1.6.3.tgz -C /usr ln -s /usr/spark-1.6.3 /usr/spark 编辑pom.xml cd /usr/spark vi pom.xml java.version1.8/java.version hadoop.version2.6.0/hadoop.version 编译Spark （MVN）（根据需要选其中之 一） 编译支持Yarn cd /usr/spark build/mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.7.3 -DskipTests clean package 编译支持Yarn 和hive cd /usr/spark build/mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.7.3 -Phive -Phive-thriftserver -DskipTests clean package MVN 编译完成后，会在assembly/target/scala-2.10 目录下生成spark- assembly-1.6.3-hadoop2.7.3.jar 文件，它包含了在编译过程中得到的jar 包及所依赖的jar 包。 cd assembly/target/scala-2.10/ ls 编译支持Yarn 、mesos 和hive cd /usr/spark build/mvn -Pyarn -Pmesos -Phadoop-2.6 -Dhadoop.version=2.7.3 -Phive -Phive-thriftserver -DskipTests clean package 制作可运行的Spark1.6.3 发行版（Building a Runnable Distribution ） 制作支持Yarn 的spark 安装包 cd /usr/spark ./make-distribution.sh --name custom-spark --tgz -Phadoop-2.6 -Dhadoop.version=2.7.3 -Pyarn 执行完成后： 会在目录assembly/target/scala-2.10 下生成spark-