项目7Hadoop环境的搭建与管理详解.pptxVIP

项目七 Hadoop环境的搭建与管理 项目内容： 7.1实训一 Hadoop的安装与配置 7.2实训二 Hadoop的管理 7.3实训三 Hadoop Shell命令 7.1.1实训内容 Hadoop是一种开源、高可靠、伸缩性强的分布式计算机系统，需要搭建多台服务器。本实训主要完成hadoop集群环境的搭建和管理。 7.1.2实训目的 1、掌握ssh节点机间无密码访问的设置； 2、掌握用户的创建； 3、掌握hadoop参数的设置； 4、掌握hadoop分布式环境的搭建。 7.1.3实训步骤 步骤1：创建hadoop用户。分别在四台节点机上创建用户hadoop，uid=660，密码分别为h1111, h2222, h3333, h4444。 登录node1节点机，创建hadoop用户和设置密码。操作命令如下： 其他节点机的操作与此相同。 步骤2：设置Master节点机ssh无密码登录Slave节点机。 1）在node1节点机上，以用户hadoop用户登录或者使用su – hadoop切换到hadoop用户。操作命令如下： 2）使用ssh-keygen生成证书密钥。操作命令如下： 3）使用ssh-copy-id分别拷贝证书公钥到node1，node2，node3，node4节点机上。操作命令如下： 4）在node1节点机上使用ssh测试无密码登录node1节点机。操作命令如下： 以上表示操作成功。 在node1节点机上继续使用ssh测试无密码登录node2、node3和node4节点机。操作命令如下： 测试登录每个节点机后，记得输入exit退出。 步骤3：使用WinSCP上传hadoop-2.6.0.tar.gz软件包到node1节点机的root目录下。如果hadoop软件包在node1节点机上编译，则把编译好的包拷贝到root目录下即可。 步骤4：解压文件，安装文件。操作命令如下： 步骤5：修改hadoop配置文件，Hadoop配置文件主要有：hadoop-env.sh、yarn-env.sh、slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。配置文件在/home/hadoop/etc/hadoop/目录下，进入该目录进行配置。操作命令如下： 1）修改hadoop-env.sh，将文件中的export JAVA_HOME=${JAVA_HOME} 修改为export JAVA_HOME=/usr/lib/jvm/java-1.7.0 。操作命令如下： 2）修改slaves，该文件登记DataNode节点主机名，本处添加node2，node3，node4三台节点主机名。操作命令如下： 3）修改core-site.xml，将文件中的configuration/configuration修改为如下内容。 configuration property namefs.defaultFS/name valuehdfs://node1:9000/value /property property nameio.file.buffer.size/name value131072/value /property property namehadoop.tmp.dir/name valuefile:/home/hadoop/tmp/value descriptionAbase for other temporary directories./description /property property namexyuser.hadoop.hosts/name value*/value /property property namexyuser.hadoop.groups/name value*/value /property /configuration 其中node1为集群的NameNode（Master）节点机，node1可以使用IP地址表示。 4）修改hdfs-site.xml，将文件中的configuration/configuration修改为如下内容。 configuration property namenode.secondary.http-address/name valuenode1:9001/value /property pro