hadoop项目实战开发 hadoop编程实例教程01.ClouderaManager详解.ppt

CDH4.1实战系列 讲师：Cloudy（北风网版权所有) 1、Cloudera Manager安装和环境熟悉 软件版本介绍 CentOS 版本要求： v5.7 - v6.2 之间 64位系统， 本课用CentOS-6.0-x86_64 版本 Cloudera Manager 4.1 JDK 1.6 Cloudera Manager介绍和安装 Cloudera Manager （简称CM）用于管理CDH4集群，可进行节点安装、配置、服务配置等，提供Web窗口界面提高了Hadoop配置可见度，而且降低了集群参数设置的复杂度。 /display/SUPPORT/Downloads /cm4/redhat/6/x86_64/cm/ 下载： cloudera-manager-daemons-4.1.0-1.cm410.p0.361.x86_64.rpm jdk-6u31-linux-amd64.rpm cloudera-manager-installer.bin 基本操作 创建一个hadoop普通用户： adduser hadoop passwd hadoop 给hadoop用户设置无密码sudo权限： chmod u+w /etc/sudoers 编辑增加：hadoop ALL=(root) NOPASSWD:ALL chmod u-w /etc/sudoers 测试是否成功：sudo ifconfig 设置CentOS静态IP地址 修改主机名 vi /etc/sysconfig/network 设置静态IP： vi /etc/sysconfig/network-scripts/ifcfg-eth0 BOOTPROTO=static IPADDR=0 ONBOOT=yes 重启服务： service network restart Yum 安装方式 Yum方式是centOS系统常用的安装方式，Repository定义起默认的下载源。在/etc/yum.repos.d下创建一个定义下载路径的文件。 创建 cloudera-manager.repo 内容如下： [cloudera-manager] name=Cloudera Manager baseurl=/cm4/redhat/6/x86_64/cm/4.1.0/ gpgkey = /cm4/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera gpgcheck=1 关闭系统防火墙 vi /etc/sysconfig/selinux#修改为 SELinux=disable sudo service iptables stop sudo chkconfig iptables off sudo chkconfig iptables –list reboot重启生效 网络设置/etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE="eth0" BOOTPROTO="static" IPADDR=09 NM_CONTROLLED="no" PEERDNS="no" ONBOOT="yes" TYPE="Ethernet" GATEWAY= DNS1=1 NETMASK= 域名解析 上述如果无法成功域名解析的话，进行如下操作 修改： vi /etc/resolv.conf nameserver nameserver Yum用本地repo源 执行sudo ./cloudera-manager-installer.bin --skip_repo_package=1 会下载安装JDK、repo文件、内置PostgreSQL数据库、CM server 1、创建本地源 2、加上--skip_repo_package=1 参数