使用Cloudera Manager安装 Hadoop-spark集群最新版讲解.docx

Cloudera Manager 安装详细介绍???目录1???????????准备工作31.1???????说明31.2???????集群网络环境介绍32???????????环境搭建52.1???????设置IP52.2???????设置hosts52.3???????关闭防火墙62.4???????关闭SElinux82.5???????设置机器名83???????????ClouderaManager安装 113.1???????下载Cloudera Manager安装文件 113.2???????下载Cloudera Manager所需的rpm包 113.3???????安装rpm文件 113.4???????安装CM 113.5???????登录CM 124???????????ClouderaManager配置及本地源配置 134.1???????配置config.ini文件 134.2???????配置本地源 145???????????Hadoop及其组件安装175.1???????选择Cloudera版本 175.2???????选中受管理的主机 175.3???????选择安装方式（Cloudera推荐使用Parcel） 185.4???????把Parcel分配到主机 185.5???????选择服务 195.6???????测试数据库连接 205.7???????等待所有服务启动 20?6???????????向集群增加节点 226.1???????添加主机 226.2???????输入IP或主机名 236.3???????提供SSH登录凭据 246.4???????安装 24???使用Cloudera Manager安装Hadoop运行环境硬件环境l? 操作系统：内存至少10G以上l? 操作系统：CentOs 6.5版本以上l? 节点建议至少4个或4个以上集群网络环境集群，节点之间局域网连接，可以相互ping通。所有节点均是CentOS6.5以上同版本系统，防火墙iptables均禁用环境搭建(基础)本集群分为4个节点。优先完成第一节点，余下节点，可通过添加主机来完成下载NTPYum install ntp同步时间命令ntpdate 设置IP(可不看)1.????设置该连接为手工方式，设置如下信息：????? IP地址：?00????? 子网掩码： ????? 网关：???? ????? DNS：????192.*.*.* vi /etc/sysconfig/network-scripts/ifcfg-eth0?ifconifg eth0 upifconfig eth0 00设置JAVA(必看)设置jdk-8u40-linux-x64.tar.gztar -xvzfjdk-8u40-linux-x64.tar.gzvim /etc/profileexport JAVA_HOME=/usr/java/jdk1.8.0_40export JAVA_BIN=$JAVA_HOME/binexport JAVA_LIB=$JAVA_HOME/libexport CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jarexport PATH=$JAVA_BIN:$PATHsource /etc/profile配置机器名(可不看)以root用户登录，使用?vi/etc/sysconfig/network?打开配置文件，修改主机名称为master配置权限(必看)赋予某一用户root权限查看某用户vim /etc/passed查看某用户组 vim /etc/group修改用户组权限，并增加用户hadoop:x:497:hdfs,mapred,yarn修改为bigdata:x:0:hdfs,mapred,yarn,cloudera-scm,flume,zookeeper,sqoop,hive,sqoop2,oozie,hbase,spark,hue,kafka,mysqlHDFS设置里面dfs.permissions取消【重点】配置时间(必看)选择局域网中的一台机器作为ntp服务器，在这台机器上需要安装并启动ntpd其他机器上要关闭ntpd，安装ntpdate注意其他机器的ntpd必须关闭：# service ntpd stop修改ntp服务器上的/etc/ntp.conf，加上以下的配置：server fudge stratum 10后面哪个数字在0-15之间都可以，这样就将这台机器的本地时间作为ntp服务提供给客户端重启ntpd：# service ntpd restart等五六分钟，让ntpd完成自身的时间同步，这期间可以用：# watch ntpq -p查看状态，第6列