原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
北风网项目实战培训 1、使用课程提供的hadoop-2.4.1.tar.gz，使用WinSCP上传到CentOS的/usr/local目录下。 2、将hadoop包进行解压缩：tar -zxvf hadoop-2.4.1.tar.gz 3、对hadoop目录进行重命名：mv hadoop-2.4.1 hadoop 4、配置hadoop相关环境变量 vi .bashrc export HADOOP_HOME=/usr/local/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin source .bashrc 安装hadoop包 property name/name valuehdfs://spark1:9000/value /property 修改core-site.xml property name.dir/name value/usr/local/data/namenode/value /property property namedfs.data.dir/name value/usr/local/data/datanode/value /property property namedfs.tmp.dir/name value/usr/local/data/tmp/value /property property namedfs.replication/name value3/value /property 修改hdfs-site.xml property name/name valueyarn/value /property 修改mapred-site.xml property nameyarn.resourcemanager.hostname/name valuespark1/value /property property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property 修改yarn-site.xml spark1 spark2 spark3 修改slaves文件 1、使用如上配置在另外两台机器上搭建hadoop，可以使用scp命令将spark1上面的hadoop安装包和.bashrc配置文件都拷贝过去。 2、要记得对.bashrc文件进行source，以让它生效。 3、记得在spark2和spark3的/usr/local目录下创建data目录。 在另外两台机器上搭建hadoop 1、格式化namenode：在spark1上执行以下命令，hdfs namenode -format 2、启动hdfs集群：start-dfs.sh 3、验证启动是否成功：jps、50070端口 spark1：namenode、datanode、secondarynamenode spark2：datanode spark3：datanode 启动hdfs集群 1、启动yarn集群：start-yarn.sh 2、验证启动是否成功：jps、8088端口 spark1：resourcemanager、nodemanager spark2：nodemanager spark3：nodemanager 启动yarn集群 欢迎访问我们的官方网站
文档评论（0）