- 1、本文档共10页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
spark环境配置
一、安装JDK、Hadoop、 Spark、Scala等,搭建spark集群
环境:CentOS 6.4, Hadoop 1.1.2, JDK 1.7, Spark 0.7.2, Scala 2.9.3
折腾了几天,终于把Spark 集群安装成功了,其实比hadoop要简单很多,由于网上搜索到的博客大部分都还停留在需要依赖mesos的版本,走了不少弯路。
1. 安装 JDK 1.7
yum search openjdk-devel
sudo yum install java-1.7.0-openjdk-devel.x86_64
/usr/sbin/alternatives --config java
/usr/sbin/alternatives --config javac
sudo vim /etc/profile
# add the following lines at the end
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-9.x86_64
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
# save and exit vim
# make the bash profile take effect immediately
$ source /etc/profile
# test
$ java -version
参考我的另一篇博客, HYPERLINK /blog \t /hxpjava1/article/details/_blank 安装和配置CentOS服务器的详细步骤。
2. 安装 Scala 2.9.3
Spark 0.7.2 依赖 Scala 2.9.3, 我们必须要安装Scala 2.9.3.
下载? HYPERLINK /downloads/distrib/files/scala-2.9.3.tgz \t /hxpjava1/article/details/_blank scala-2.9.3.tgz?并 保存到home目录.
$ tar -zxf scala-2.9.3.tgz
$ sudo mv scala-2.9.3 /usr/lib
$ sudo vim /etc/profile
# add the following lines at the end
export SCALA_HOME=/usr/lib/scala-2.9.3
export PATH=$PATH:$SCALA_HOME/bin
# save and exit vim
#make the bash profile take effect immediately
source /etc/profile
# test
$ scala -version
3. 下载预编译好的Spark
下载预编译好的Spark,? HYPERLINK /download-spark-0.7.2-prebuilt-hadoop1 \t /hxpjava1/article/details/_blank spark-0.7.2-prebuilt-hadoop1.tgz.
如果你想从零开始编译,则下载源码包,但是我不建议你这么做,因为有一个Maven仓库,, 被墙了,导致编译时需要翻墙,非常麻烦。如果你有DIY精神,并能顺利翻墙,则可以试试这种方式。
4. 本地模式
4.1 解压
$ tar -zxf spark-0.7.2-prebuilt-hadoop1.tgz
4.2 设置SPARK_EXAMPLES_JAR 环境变量
$ gedit /etc/profile
# add the following lines at the end
export SPARK_EXAMPLES_JAR=/home/jay/spark-0.7.2/examples/target/scala-2.9.3/spark-examples_2.9.3-0.7.2.jar
# save and exit vim
#make the bash profile take effect immediately
$ source /etc/profile
这一步其实最关键,很不幸的是,官方文档和网上的博客,都没有提及这一点。我是偶然看到了这两篇帖子, HYPERLINK /forum/?fromgroups \l !topic/spark-users/nQ6wB2lcFN8 \t /hxpjava1
您可能关注的文档
- QC成果提高轨道安装精度2012410终稿.doc
- Q系列定位与CCD视讯.doc
- PlantScape系统用户培训教材.doc
- RAC的一些概念性和原理性的知识.docx
- Riesz-Schauder定理在一类积分方程的应用.doc
- Rest接口文档10.doc
- RO清洗注意事项.docx
- S3C2410A芯片及其应用(嵌入式大作业).docx
- S7-200指令集提供三种不同类型的定时器的用法.doc
- SAPCO-080CO月结流程Ver10.doc
- 10《那一年,面包飘香》教案.docx
- 13 花钟 教学设计-2023-2024学年三年级下册语文统编版.docx
- 2024-2025学年中职学校心理健康教育与霸凌预防的设计.docx
- 2024-2025学年中职生反思与行动的反霸凌教学设计.docx
- 2023-2024学年人教版小学数学一年级上册5.docx
- 4.1.1 线段、射线、直线 教学设计 2024-2025学年北师大版七年级数学上册.docx
- 川教版(2024)三年级上册 2.2在线导航选路线 教案.docx
- Unit 8 Dolls (教学设计)-2024-2025学年译林版(三起)英语四年级上册.docx
- 高一上学期体育与健康人教版 “贪吃蛇”耐久跑 教案.docx
- 第1课时 亿以内数的认识(教学设计)-2024-2025学年四年级上册数学人教版.docx
最近下载
- 海港总体设计规范,JTS165-2013.docx
- 六年级上册语文-晨读晚默(33页).pdf
- 2019年昆明呈贡公园概念设计(城市规划、景观园林专业资料).ppt
- 2023-2024在线学习课堂网课《伤寒论临证应用规律解析》单元测试考核答案.pdf
- v20变频器说明书.pdf
- 食品安全风险管控清单(蛋制品生产).docx VIP
- 药事管理与合理用药的现状及临床分析.docx
- ASUS华硕主板玩家国度(ROG)ROG MAXIMUS Z790 EXTREME 简体中文版使用手册.pdf
- “双带头人”教师党支部书记工作室申报书.docx VIP
- 2023年北京中考数学重难题型01新定义创新型综合压轴问题(13-22年最后一题+真题10道模拟30道)含详解.pdf VIP
文档评论(0)