大数据集群配置过程_hadoop篇探索.docxVIP

大数据集群配置过程_hadoop篇JDDC_SEED_BIGDATA 2015-01-15修改历史修改日期担当者审阅人版本号新增2015-01-15孙云涛V1.0概述本篇文档主要讲解hadoop的安装过程。Hadoop是安装hbase和hive的基础，即安装hbase和hive之前必须先安装hadoop并且hdfs和mapreduce必须都功能正常。因为hbase和hive其底层所使用都是应用hadoop的两个核心部分—hdfs和mapreduce。在安装hadoop之前需要考滤操作系统的版本（32位还是64位）以及hbase和hive的版本，否则会引起jar包不支持而导致的jar包替换或jar包重新编译等问题。Hadoop、hbase、hive的版本匹配信息如下：由于我们所使用的操作系统centos6.5是32位，而且hadoop2.2.0是官方推荐的稳定版本，所以本次安装的hadoop是2.2.0版本，具体的安装方式和配置方式请参考本篇文档的正文部分。正文本次hadoop集群规模以及分布如下：主机IP主机名主机角色操作系统02hadoop02namenodeCentos6.501hadoop01datanodeCentos6.503hadoop03datanodeCentos6.504hadoop04datanodeCentos6.5注意：datanode的数量要求是奇数，否则后继安装hbase时会报错。2.1操作系统安装每台主机都安装centos6.5,安装时可以用desktop方式进行安装，但是安装完成之后需要把启动模式改命令行模式，然后重新启动每台主机。修改启动模式需要修改/etc/inittab这个文件把id后面的数字改成32.2配置网络Hadoop集群中的第个主机节点需要配置成静态IP,配置IP时需要修改/etc/sysconfig/network-scripts/ifcfg-eth0这个文件，修改内容如下（以namenode的文件为例）修改完成之后，需要运行service network restart这个命令。其它各个datanode主机也需要按同样的方式对网络进行配置，三个datanode的IP分别为：01；03；04。网络配置完成之后要通过ping命令确认各主机之间是否能访问。2.3修改主机名由于hadoop集群，特别是hbase集群在各节点在通信过程中直接使用IP会出现问题，所以集群中每个节点主机要配置一个固定的主机名。修改/etc/sysconfig/network这个文件Namenode节点：Datanode节点1：Datanode节点2：Datanode节点3：修改/etc/hosts文件注意默认 localhost后面会有其它内容，建意删掉，否则hadoop集群能正常启动运行，但使用hbase时会出现访问拒绝的情况。在namenode节点上修改完成/ect/hosts这个文件之后可以通过scp命令复制到各个datanode节点上。Scp命令示例：scp/etc/hosts 01:/etcscp /etc/hosts 03:/etcscp /etc/hosts 04:/etc2.4配置ssh无密码登陆1 ）在namenode节点上执行命令ssh-keygen -t rsa之后一路回车，查看刚生成的无密码钥对： cd .ssh后执行ll2 、把 id_rsa.pub 追加到授权的 key 里面去。执行命令 cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys3 、修改权限：执行chmod 600 ~/.ssh/authorized_keys4 、确保 cat /etc/ssh/sshd_config中存在如下内容RSAAuthentication yesPubkeyAuthentication yesAuthorizedKeysFile .ssh/authorized_keys如需修改，则在修改后执行重启 SSH 服务命令使其生效 :service sshd restart5 、将公钥复制到所有的datanode节点上scp ~/.ssh/id_rsa.pub 01: ~/scp ~/.ssh/id_rsa.pub 03: ~/scp ~/.ssh/id_rsa.pub 04: ~/通过scp进行远程复制过程中会要求输入各节点的主机登录密码。6 、在各datanode节点上创建 .ssh文件夹 :mkdir ~/.ssh然后执行chmod 700 ~/.ssh（若文件夹以存在则不需要创建）7 、在各datanode节点上，将公钥追加到授权文件authorized_keys执行命令 :cat ~/id_rsa.pub ~/.ssh/authorized_