原创力文档- 1、本文档共11页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
北风网大数据实战培训
;1、使用课程提供的hadoop-2.5.0-cdh5.3.6.tar.gz，上传到虚拟机的/usr/local目录下。（ ）
2、将hadoop包进行解压缩：tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz
3、对hadoop目录进行重命名：mv hadoop-2.5.0-cdh5.3.6 hadoop
4、配置hadoop相关环境变量
vi ~/.bashrc
export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source ~/.bashrc
5、创建/usr/local/data目录
;property
namefs.default.name/name
valuehdfs://sparkproject1:9000/value
/property
;property
namedfs.name.dir/name
value/usr/local/data/namenode/value
/property
property
namedfs.data.dir/name
value/usr/local/data/datanode/value
/property
property
namedfs.tmp.dir/name
value/usr/local/data/tmp/value
/property
property
namedfs.replication/name
value2/value
/property
;property
namemapreduce.framework.name/name
valueyarn/value
/property
;property
nameyarn.resourcemanager.hostname/name
valuesparkproject1/value
/property
property
nameyarn.nodemanager.aux-services/name
valuemapreduce_shuffle/value
/property
;sparkproject2
sparkproject3
;1、使用如上配置在另外两台机器上搭建hadoop，可以使用scp命令将sparkproject1上面的hadoop安装包和~/.bashrc配置文件都拷贝过去。（scp -r hadoop root@sparkproject2:/usr/local）
2、要记得对.bashrc文件进行source，以让它生效。
3、记得在sparkproject2和sparkproject3的/usr/local目录下创建data目录。
;1、格式化namenode：在sparkproject1上执行以下命令，hdfs namenode -format
2、启动hdfs集群：start-dfs.sh 3、验证启动是否成功：jps、50070端口
sparkproject1：namenode、secondarynamenode
sparkproject2：datanode
sparkproject3：datanode
4、hdfs dfs -put hello.txt /hello.txt
;1、启动yarn集群：start-yarn.sh 2、验证启动是否成功：jps、8088端口
sparkproject1：resourcemanager、nodemanager
sparkproject2：nodemanager
sparkproject3：nodemanager
;
欢迎访问我们的官方网站
文档评论（0）