Hadoop环境的搭建与管理-.pptxVIP

汕尾职业技术学院信息工程系 谢志明;实验环境准备：;实训步骤;步骤2：设置Master节点机ssh免密码登录Slave节点机。 1）在node1节点机上，以用户hadoop用户登录或者使用su – hadoop切换到hadoop用户。操作命令如下： 2）使用ssh-keygen生成证书密钥。操作命令如下： 3）使用ssh-copy-id分别拷贝证书公钥到node1，node2，node3节点机上。操作命令如下： ;4）在node1节点机上使用ssh测试免密码登录node1节点机。 操作命令如下： 以上表示操作成功。 在node1节点机上继续使用ssh测试免密码登录node2和node3节点机。操作命令如下： 测试登录每个节点机后，记得输入exit或按Ctrl+D组合键退出。 ;步骤3：使用WinSCP上传hadoop-2.6.0.tar.gz软件包到node1节点机的root目录下。如果hadoop软件包在node1节点机上编译，则把编译好的包拷贝到root目录下即可。 ;步骤4：解压文件，安装文件。操???命令如下： 步骤5：安装jdk 1）安装jdk。操作命令如下： 2）输入javac测试jdk是否安装成功。; 步骤6：修改hadoop配置文件，需要修改的Hadoop配置文件主要有以下六个：hadoop-env.sh、slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。 配置文件在/home/hadoop/etc/hadoop/目录下，进入该目录进行配置。操作命令如下： 1）修改hadoop-env.sh 将文件中的export JAVA_HOME=${JAVA_HOME} 修改为export JAVA_HOME=/usr/lib/jvm/java-1.7.0 。操作命令如下： ;2）修改slaves 该文件登记DataNode节点主机名，本处添加node2，node3两台节点主机名。操作命令如下： ;3）修改core-site.xml 将文件中的configuration/configuration修改为如下内容。 configuration property namefs.defaultFS/name valuehdfs://node1:9000/value /property property nameio.file.buffer.size/name value131072/value /property property namehadoop.tmp.dir/name valuefile:/home/hadoop/tmp/value descriptionAbase for other temporary directories./description /property property namexyuser.hadoop.hosts/name value*/value /property property namexyuser.hadoop.groups/name value*/value /property /configuration 其中node1为集群的NameNode（Master）节点机，node1可以使用IP地址表示。;4）修改hdfs-site.xml 将文件中的configuration/configuration修改为如下内容。 configuration property namenode.secondary.http-address/name valuenode1:9001/value /property property name.dir/name valuefile:/home/hadoop/dfs/name/value /property property namedfs.datanode.data.dir/name valuefile:/home/hadoop/dfs/data/value /property property namedfs.replication/name value3/value /property proper