cdh spark源码编译说明文档.docVIP

编译CDH Spark源代码说明文档 本文以Cloudera维护的Spark分支项目为例，记录跟新Spark分支以及编译Spark源代码的过程。 编译环境说明 30上有CDH 5.3.0 Spark的源码以及编译环境，直接跳到使用maven编译即可： maven安装目录：/opt/maven/apache-maven-3.1.1； Maven repository：/root/.m2/repository； Spark源码：/app/data/spark/spark-cdh5-1.2.0_5.3.0-src 下载代码 在Github上fork Cloudera维护的 \t /2015/04/28/_blank Spark项目到自己的github账号里，对应的地址为 \t /2015/04/28/_blank /javachen/spark。 下载代码： $ git clone /javachen/spark 然后，切换到最新的分支，当前为 cdh5-1.3.0_5.4.0。 $ cd spark$ git checkout cdh5-1.3.0_5.4.0 查看当前分支： ? git branch* cdh5-1.3.0_5.4.0 master 如果spark发布了新的版本，需要同步到我自己维护的spark项目中，可以按以下步骤进行操作: # 添加远程仓库地址$ git remote add cdh git@:cloudera/spark.git # 抓取远程仓库更新：$ git fetch cdh # 假设cloudera发布了新的版本 cdh/cdh5-1.3.0_5.4.X$ git checkout -b cdh5-1.3.0_5.4.X cdh/cdh5-1.3.0_5.4.X # 切换到新下载的分支 $ git checkout cdh5-1.3.0_5.4.X # 将其提交到自己的远程仓库：$ git push origin cdh5-1.3.0_5.4.X:cdh5-1.3.0_5.4.X 编译 安装 zinc 在mac上安装 \t /2015/04/28/_blank zinc： $ brew install zinc 使用maven编译 指定hadoop版本为2.6.0-cdh5.4.0，并集成yarn和hive： $ export MAVEN_OPTS=-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m $ mvn -Pyarn -Dhadoop.version=2.6.0-cdh5.4.0 -Phive -DskipTests clean package 在CDH的spark中，要想集成hive-thriftserver进行编译，需要修改 pom.xml 文件，添加一行?sql/hive-thriftserver： modules modulecore/module modulebagel/module modulegraphx/module modulemllib/module moduletools/module modulestreaming/module modulesql/catalyst/module modulesql/core/module modulesql/hive/module modulesql/hive-thriftserver/module !--添加的一行-- modulerepl/module moduleassembly/module moduleexternal/twitter/module moduleexternal/kafka/module moduleexternal/flume/module moduleexternal/flume-sink/module moduleexternal/zeromq/module moduleexternal/mqtt/module moduleexamples/module /modules 然后，再执行： $ export MAVEN_OPTS=-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m $ mvn -Pyarn -Dhadoop.version=2.6.0-cdh5.4.0 -Phive -Phive-thriftserver -DskipTests clean package 运