项目7Hadoop环境的搭建与管理.pptx

;项目内容：;7.1.1实训内容;7.1.2实训目的;7.1.3实训步骤;步骤2：设置Master节点机ssh无密码登录Slave节点机。 1）在node1节点机上，以用户hadoop用户登录或者使用su – hadoop切换到hadoop用户。操作命令如下： 2）使用ssh-keygen生成证书密钥。操作命令如下： 3）使用ssh-copy-id分别拷贝证书公钥到node1，node2，node3，node4节点机上。操作命令如下： ;4）在node1节点机上使用ssh测试无密码登录node1节点机。操作命令如下： 以上表示操作成功。 在node1节点机上继续使用ssh测试无密码登录node2、node3和node4节点机。操作命令如下： 测试登录每个节点机后，记得输入exit退出。 ;步骤3：使用WinSCP上传hadoop-2.6.0.tar.gz软件包到node1节点机的root目录下。如果hadoop软件包在node1节点机上编译，则把编译好的包拷贝到root目录下即可。 ;步骤4：解压文件，安装文件。操作命令如下： 步骤5：修改hadoop配置文件，Hadoop配置文件主要有：hadoop-env.sh、yarn-env.sh、slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。配置文件在/home/hadoop/etc/hadoop/目录下，进入该目录进行配置。操作命令如下： 1）修改hadoop-env.sh，将文件中的export JAVA_HOME=${JAVA_HOME} 修改为export JAVA_HOME=/usr/lib/jvm/java-1.7.0 。操作命令如下： ;2）修改slaves，该文件登记DataNode节点主机名，本处添加node2，node3，node4三台节点主机名。操作命令如下： ;3）修改core-site.xml，将文件中的configuration/configuration修改为如下内容。 configuration property namefs.defaultFS/name valuehdfs://node1:9000/value /property property nameio.file.buffer.size/name value131072/value /property property namehadoop.tmp.dir/name valuefile:/home/hadoop/tmp/value descriptionAbase for other temporary directories./description /property property namexyuser.hadoop.hosts/name value*/value /property property namexyuser.hadoop.groups/name value*/value /property /configuration 其中node1为集群的NameNode（Master）节点机，node1可以使用IP地址表示。 ;4）修改hdfs-site.xml，将文件中的configuration/configuration修改为如下内容。 configuration property namenode.secondary.http-address/name valuenode1:9001/value /property property name.dir/name valuefile:/home/hadoop/dfs/name/value /property property namedfs.datanode.data.dir/name valuefile:/home/hadoop/dfs/data/value /property property namedfs.replication/name value3/value /property property namedfs.webhdfs.enabled/name