原创力文档- 1、本文档共13页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
大数据计算平台《大数据导论》课程Introduction to big data
Spark整体架构和模块Spark配置01
Standalone模式使用命令：bin/spark-shell --master spark://hadoop:7077
Spark on mesos 模式（已启动Hadoop集群）运行该模式首先得安装mesos 配置yum源使用命令：yum install http://repos.mesosphere.io/el/7/noarch/RPMS/mesosphere-el-repo-7-1.noarch.rpm下载mesos包文件使用命令：yum install -y mesos
安装zookeeper使用命令：tar -zxvf zookeeper-3.4.6.tar.gz使用命令：mv zookeeper-3.4.6 /opt/zookeeper使用命令：mv zoo-sample.cfg zoo.cfg
修改文件zoo.cfg内容启动zookeeper使用命令：bin/zkServer.sh start
修改mesos运行参数修改master参数使用命令：vim /etc/default/mesos-master修改slave参数使用命令：vim /etc/default/mesos-slave
启动服务使用命令：systemctl start mesos-master.servicesystemctl start mesos-slave.service启动成功
Web查看是否成功安装（如果web页面出现表示搭建成功）启动服务
配置spark 在mesos环境spark-env.sh文件使用命令：vi conf/spark-env.sh（当前在spark目录中）spark-defaults.conf文件使用命令：vi conf/spark-defaults.conf（当前在spark目录中）
启动HDFS并将二进制spark文件上传至HDFS中创建目录使用命令：bin/hdfs dfs -mkdir /user/spark2. 上传文件使用命令：bin/hdfs dfs -put /home/hadoop/spark-2.4.4-bin-hadoop2.6.tgz /user/spark3.查看是否上传成功使用命令：bin/hdfs dfs -ls -R /user/spark
启动spark on mesos服务使用命令：./bin/spark-shell --master mesos://29:5050测试
谢谢观看数大义之方， 论万物之据 。受益终身!
文档评论（0）