北风网大数据实战培训课程环境搭建-hadoop-2.5.0-cdh5.3.6集群搭建.ppt

北风网大数据实战培训 1、使用课程提供的hadoop-2.5.0-cdh5.3.6.tar.gz，上传到虚拟机的/usr/local目录下。（/cdh5/cdh/5/） 2、将hadoop包进行解压缩：tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz 3、对hadoop目录进行重命名：mv hadoop-2.5.0-cdh5.3.6 hadoop 4、配置hadoop相关环境变量 vi ~/.bashrc export HADOOP_HOME=/usr/local/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin source ~/.bashrc 5、创建/usr/local/data目录 安装hadoop包 property name/name valuehdfs://sparkproject1:9000/value /property 修改core-site.xml property name.dir/name value/usr/local/data/namenode/value /property property namedfs.data.dir/name value/usr/local/data/datanode/value /property property namedfs.tmp.dir/name value/usr/local/data/tmp/value /property property namedfs.replication/name value2/value /property 修改hdfs-site.xml property name/name valueyarn/value /property 修改mapred-site.xml property nameyarn.resourcemanager.hostname/name valuesparkproject1/value /property property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property 修改yarn-site.xml sparkproject2 sparkproject3 修改slaves文件 1、使用如上配置在另外两台机器上搭建hadoop，可以使用scp命令将sparkproject1上面的hadoop安装包和~/.bashrc配置文件都拷贝过去。（scp -r hadoop root@sparkproject2:/usr/local） 2、要记得对.bashrc文件进行source，以让它生效。 3、记得在sparkproject2和sparkproject3的/usr/local目录下创建data目录。 在另外两台机器上搭建hadoop 1、格式化namenode：在sparkproject1上执行以下命令，hdfs namenode -format 2、启动hdfs集群：start-dfs.sh3、验证启动是否成功：jps、50070端口 sparkproject1：namenode、secondarynamenode sparkproject2：datanode sparkproject3：datanode 4、hdfs dfs -put hello.txt /hello.txt 启动hdfs集群 1、启动yarn集群：start-yarn.sh2、验证启动是否成功：jps、8088端口 sparkproject1：resourcemanager、nodemanager sparkproject2：nodemanager sparkproject3：nodemanager 启动yarn集群 欢迎访问我们的官方网站