CDH4.1 介绍与环境搭建.ppt

CDH4.1实战系列 技术基础 Linux 基础 Java 基础，一般水平 关系数据库 sql 软件包下载地址大全 CDH4 是Hadoop 2.0版本，和Apache本质无区别 其实就是基于Apache版本基础上，增加一些Cloudera产品兼容的内容，比如可以容纳到Cloudera Manager 进行管理。 下载地址： CM： /cm4/redhat/6/x86_64/cm/ Cdh: /cdh4/redhat/6/x86_64/cdh/ cloudera-manager-installer.bin /cm4/installer/ Cloudera 介绍 Cloudera 公司主是一家提供 Hadoop 以及基于 Hadoop 软件的服务商. Cloudera 针对Hadoop的官方版本做了很多集成以及补丁修复工作. 并且一个发布下的所有基于 Hadoop 的软件之间的版本依赖已经经过了大量测试, 可以说是一个比较省心的版本. 同时简化了对其他组件的整合安装。是目前企业里用的最多的发行版本。 而且 Cloudera 针对不同的 Linux 发 行版进行了打包工作,比如: Ubuntu, Debian, Redhat, Fedora, SUSE 等 CDH4 介绍 Cloudera Hadoop 4 的简称，是在CDH3基础上升级而来，相比CDH3有很大的性能提高，同时修复了CDH3的很多细节问题。无论稳定性还是性能，都是之前版本无法相比的。 目前最主流的企业级应用版本。 OS硬件要求 OS硬件要求 关系数据库要求 JDK版本 CDH4 要求 JDK 1.6. 推荐版本是1.6.0_31. 最小版本是1.6.0_8. 我们采用版本jdk-6u31-linux-amd64.rpm CDH4 安装步骤 下载地址： /cdh4/redhat/6/x86_64/cdh/ 修改 /etc/hosts root用户，或普通用户无密码sudo权限 建本地下载repository 手工下载软件包，按照顺序安装 安装方式有2种： 方式1、全自动安装，先下载后安装 弊端是所需下载软件包又大又多，下载过程耗时，任何时候报错都全部回滚，所以该方式不可取。 CDH4 安装步骤 方式2：手工下载和安装所需软件包。 该方式出现报错不会回滚之前的安装。 需要：建本地repo文件。 Yarn 是Mapreduce 2.0 软件包按照顺序 用—nogpgcheck 忽略yum安装所依赖的包： sudo yum install ./cloudera-manager-agent-4.1.0-1.cm410.p0.361.x86_64.rpm --nogpgcheck sudo yum install ./cloudera-manager-daemons-4.1.0-1.cm410.p0.361.x86_64.rpm --nogpgcheck sudo yum install ./jdk-6u31-linux-amd64.rpm --nogpgcheck sudo yum install ./bigtop-tomcat-0.4+359-1.cdh4.1.2.p0.38.el6.noarch.rpm --nogpgcheck sudo yum install ./zookeeper-3.4.3+28-1.cdh4.1.2.p0.34.el6.noarch.rpm sudo yum install ./hadoop-2.0.0+552-1.cdh4.1.2.p0.27.el6.x86_64.rpm sudo yum install ./hadoop-hdfs-2.0.0+552-1.cdh4.1.2.p0.27.el6.x86_64.rpm sudo yum install ./hadoop-0.20-mapreduce-0.20.2+1265-1.cdh4.1.2.p0.24.el6.x86_64.rpm sudo yum install ./hadoop-httpfs-2.0.0+552-1.cdh4.1.2.p0.27.el6.x86_64.rpm sudo yum install ./hadoop-yarn-2.0.0+552-1.cdh4.1.2.p0.27.el6.x86_64.rpm sudo yum install ./hadoop-mapreduce-2.0.0+552-1.cdh4.1.2.p0.27.el6.x86_64.rpm sudo yum install ./hadoop-client-2.0.0+552