hadoop安装简要过程和相关配置文件.docVIP

Hadoop安装简要过程及配置文件 机器准备 ①、Linux版操作系统centos 6.x ②、修改主机名，方便配置过程中记忆。 修改文件为：/etc/sysconfig/network 修改其中的HOSTNAME即可 ③、配置局域网内，主机名与对应ip，并且其中集群中所有的机器的文件相同，修改文件为 /etc/hosts 格式为： 41 namenode 42 datanode1 43 datanode2 环境准备 ①、配置ssh免密码登陆，将集群中master节点生成ssh密码文件。具体方法： 1）、ssh-keygen -t rsa 一直回车即可,将会生成一份 ~/.ssh/ 文件夹，其中id_rsa为私钥文件 id_rsa.pub公钥文件。 2）、将公钥文件追加到authorized_keys中然后再上传到其他slave节点上 追加文件： cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 上传文件： scp ~/.ssh/authorized_keys root@dananode:~/.ssh/ 、测试是否可以免密码登陆：ssh 主机名或局域网ip ②、配置JDK ③、创建hadoop用户 groupadd hadoop? useradd hadoop -g hadoop 4)、同步时间 ntpdate 5）、关闭防火墙 service?iptables?stop 安装cdh5 进入目录/data/tools/ (个人习惯的软件存储目录，你可以自己随便选择)； wget?/cdh5/one-click-install/redhat/6/x86_64/cloudera-cdh-5-0.x86_64.rpm ? yum --nogpgcheck localinstall cloudera-cdh-5-0.x86_64.rpm 添加cloudera仓库验证： rpm --import/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera 4、安装hdfs与mapreduce ①、安装hdfs: 、节点分配 由于只有1台 namenode节点，它负责监管所有的datanode节点，即可为master节点,其余的均为datanode节点，则主机规划为： Master安装 namenode 其余的slave安装 datanode 、节点安装 Master安装： sudo yum clean all; sudo yum install hadoop-hdfs-namenode Slave安装： sudo yum clean all; sudo yum install hadoop-hdfs-datanode ②、MRv2安装 、节点分配 由于在MRv2中运用了yarn对节点的管理则在mapreduce的分配中需要一个 resourcemanager节点对所有节点进行管理，以及运用nodemanager对每一个datanode进行管理，由于只有一个resourcemanager节点，可以考虑将其放在master节点上(可以任意选择，即可以放在datanode上) Master安装：resourcemanager、mapreduce、historyserver Slave安装：nodemanager、mapruduce 、节点安装 Master节点： Sudo yum clean all; sudo yum install hadoop-yarn-resourcemanager Sudo yum clean all; sudo yum install hadoop-mapreduce Sudo yum clean all; sudo yum isntall hadoop-mapreduce-historyserver Slave节点： Sudo yum clean all; sudo yum install hadoop-yarn-nodemanager Sudo yum clean all; sudo yum install hadoop-mapreduce ③、hadoop客户端安装 即该节点可以用shell脚本与hdfs进行交互以及job提交 Sudo yum clean all; sudo yum install hadoop-client ④、MRv1安装 1）、节点分配 由于在MRv1中是运用Tracker对资源进行管理，所以在集群中需要有一个JobTracker对所有资源进行管理，其余的节点都为TaskTracker对单几点进行管理。 Master安装：jobTracker Slave 安装：taskTracker