CDH412集群安装配置详细过程.docx

CDH4.1.2集群安装配置详细过程CDH4.1.2CDH 是Cloudera 完全开源的Hadoop 分布式系统架构，为了满足企业的需求而特别构建的系统。即一个开源的企业级分布式存储系统。全称：Cloudera Hadoop。它是在Apache Hadoop基础上打入了很多patch。使之性能更好，更加满足生产环境。CDH4.1.2使用的是apache 的hadoop 2.0版本，与之前的稳定的hadoop-1.x相比，Apache Hadoop 2.x有较为显著的变化。Hadoop介绍Hadoop是apache 的开源项目，开发的主要目的是为了构建可靠、可拓展、稳定的分布式的系统，hadoop 是一系列的子工程的总和，其中包含：1. hadoop common：为其他项目提供基础设施2. HDFS：分布式的文件存储系统3. MapReduce：A software framework for distributed processing of large data sets on compute clusters，一个简化分布式编程的框架。4. 其他工程包含：Avro(序列化系 统)，Cassandra(数据库项目)等。Hadoop以 Hadoop 分布式文件系统HDFS (Hadoop Distributed File System）和MapReduce(Google MapReduce的开源实现)为核心,Hadoop为用户提供了系统底层细节透明的分布式基础架构。　对于 Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个 HDFS 集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的 DataNode 管理存储的数据。MapReduce框架是由一个单独运行在主节点上的 JobTracker和运行在每个集群从节点上的TaskTracker 共同组成的。主节点（NameNode）节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上，主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点（DataNode）仅负责由主节点指派的任务，当一个 Job 被提交 时，JobTracker 接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。　从上面的介绍可以看出，HDFS 和MapReduce共同组成了Hadoop分布式系 统体系结构的核心。HDFS在集群上实现分布式文件系统，MapReduce在集群上 实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce 在HDFS 的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop 分布式集群的主要任务。集群环境选择四台物理PC机，构建集群Hadoop环境。操作系统均为CentOS6.2或以上，集群中包括 4个节点： 1个Master，3个Salve节点，节点之间局域网连接，可以相互ping通。Master机器主要配置NameNode和JobTracker的角色，负责总管分布式数据和分解任务的执行；3个Salve机器配置DataNode和TaskTracker的角色，负责分布式数据存储以及任务的执行。机器主机名HDFSMapReduceYARN（Mapreduce2.0）10MasterNameNodeJobTrackerResourcesManager11Slave01DataNodeTaskTrackerNodeManager12Slave02DataNodeTaskTrackerNodeManager13Slave03DataNodeTaskTrackerNodeManager详细配置：修改主机名按照上述表里的设置，将四台机器分别设置相应主机名。例如Master机器。# hostname Master# vim /etc/sysconfig/networkHOSTNAME=Master重启机器。四台机器都要设置，设置完后，重启机器。修改 hosts 文件#vim /etc/hosts在文件里面添加如下配置：10 Master11 Slave0112 Slave0213 Slave03并用scp命令复制到其他所有机器，即四台机器做相同配置。配置SSH无密码登陆SSH无密码原理简介：首先在Master上生成一个密钥对，包括一个公钥和一个私钥，并将公钥复制到所有的slave上。然后当 master 通过SSH 连接slave时，slave就会生成一个随机数并用master的公钥对随机数进行加密，并发送