CDH5.4.5安装指导文档0924_v1.0解读.docxVIP

CDH5.4.5安装指导文档、文档编号：版本号：V1.0编写：蓝汉华审核：修订记录版本号修订日期章节号修订内容修订人批准人V0.12015-08-27ALL初稿蓝汉华V1.02015-08-28修改第四章节Cloudera Manager 启动顺序，突出NTP时间同步重点步骤蓝汉华目录CDH5.4.5安装指导文档11目录32软件介绍42.1关于CDH和Cloudera Manager43环境准备53.1系统环境53.2服务器配置53.3JDK的安装 (所有节点)73.4关闭防火墙（所有节点）83.5绑定IP与主机名（所有节点）83.5.1修改/etc/hosts83.5.2修改主机名93.5.3重启网络93.6SSH无密码登陆?（所有节点）93.7安装NTP服务--时间同步（所有节点）103.7.1时间同步不生效解决方法：133.8安装MySQL143.8.1MySQL安装包准备143.8.2检查本地mySQL安装版本143.8.3清理旧版本MySQL153.8.4开始安装mysql153.8.5启动数据库153.8.6设置密码163.8.7创建数据库：163.8.8为新创建的数据库授权164Cloudera Manager安装174.1Cloudera Manager安装174.1.1master配置174.1.2agent配置194.2安装Cloudera Manager所需的rpm包194.2.1安装rpm文件204.3本地源配置214.4启动Cloudera Manager 5225安装CDH236CM卸载287杂记：Namenode和Secondarynamenode的关系【转】28软件介绍关于CDH和Cloudera ManagerCM:?Cloudera?Manager?（Cloudera公司专有的Hadoop集群管控平台）?。CDH:?Cloudera?Distributed?Hadoop（Cloudera公司重新打包发布的Hadoop版本）。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。?Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。环境准备系统环境集群规划：IP地址主机名角色1c1n1NN/ RM/ HMaster/ZKFC/JobHistoryServer2c1n2NN/ RM/ HMaster/ZKFC 3c1d1DN/ NM/ HRegionServer 4c1d2DN/ NM/ HRegionServer 5c1d3DN/ NM/ HRegionServer 6c1d4DN/ NM/ HRegionServer 7c1d5DN/ NM/ HRegionServer 8c1d6DN/ NM/ HRegionServer 9c1d7DN/ NM/ HRegionServer 0c1d8DN/ NM/ HRegionServer/ JN/ ZK1c1d9DN/ NM/ HRegionServer/ JN/ ZK2c1d10DN/ NM/ HRegionServer/ JN/ ZK 服务器配置软硬件配置：账号密码1Namenode、HmasterResourceManager[1-2][2台]主机型号 Dell PowerEdge R720rootbig@1data物理机硬件配置(CPU/MEM)10C/64G物理机硬件配置(DISK)1T 硬盘 x1550G 硬盘 x2操作系统及版本号RED HAT ENTERPRISE LINUX SERVER RELEASE 6.42Datanode、NodeManager、HRegionServer[3--9][7台]主机型号 Dell PowerEdge R620rootbig@1data物理机硬件配置(CPU/MEM)10C/32G物理机硬件配置(DISK)1T 硬盘 x4操作系统及版本号RED HAT ENTERPRISE LINUX SERVER RELEASE 6.43Zookeeper[0--2][3台