Ch5-Hadoop系统安装运行与程序开发.pptx

Ch.5. Hadoop系统安装运行 与程序开发;Ch.5. Hadoop系统安装运行与程序开发;Hadoop系统运行的软件环境 Linux操作系统 如RHELS 6.0 (Red Hat Enterprise Linux Server 6.0) 直接安装Linux Window下安装Linux虚拟机 SSH（Secure Shell） 主要用于远程管理Hadoop节点以及Hadoop节点间的安全共享访问 Java 如Java1.6.0;Hadoop系统的安装方式 单机方式 在一台运行Linux或Windows下虚拟Linux的单机上安装运行Hadoop系统 单机伪分布方式 在一台运行Linux或Window下虚拟Linux的单机上，用伪分布方式，用不同的java进程模拟分布运行中的NameNode、DataNode、JobTracker、TaskTracker等各类节点 集群分布模式 在一个真实的集群环境下安装运行Hadoop系统，集群的每个节点可以运行Linux或Window下的虚拟Linux。 单机和伪分布模式下编写调试完成的程序不需修改即可在真实的分布式Hadoop集群下运行（但通常需要修改配置）;基本安装步骤 安装JDK 下载安装Hadoop 配置SSH 配置Hadoop的环境 格式化HDFS文件系统 启动Hadoop环境 运行程序测试 查看集群状态 ;单机和单机伪分布方式安装过程 1. 单机操作系统安装 在单机上安装Linux或Window下虚拟Linux，假设安装后机器名为Siler 2. 安装SSH 如果安装RHELS 6.0 , 确保软件安装时把SSH选上；如果安装Linux时没有安装SSH，则需要另行安装SSH 3. 安装Java 下载和安装Java，将java安装在root/usr/java目录下;单机和单机伪分布方式安装过程 4. 创建用户 为Hadoop创建一个专门的用户组如hadoop-user，然后在该用户组下创建Hadoop用户。可在安装系统的时候创建，也可以在安装好之后用如下命令创建： [root@Siler ~]# groupadd hadoop-user [root@Siler ~]# useradd -g hadoop_user -d /home/hadoop hadoop “hadoop”是所创建的用户名, -d指明“ hadoop”用户的home目录是/home/hadoop ） [root@Siler ~]# passwd hadoop [给用户hadoop设置口令] ;单机和单机伪分布方式安装过程 5. 解压安装Hadoop 到Hadoop官网下载hadoop 建立安装目录 [hadoop@Siler ~] mkdir ~/hadoop_installs 把hadoop-0.20.1.tar.gz放在这里，然后解压： [hadoop@Siler hadoop_installs]$ tar –zxvf hadoop-0.20.1.tar.gz;单机和单机伪分布方式安装过程 Hadoop版本信息 根据Apache Hadoop官方提供的release，目前有以下版本可下载： 0.20.x.x ：hadoop-0.20.2/，hadoop-/，hadoop-/，hadoop-/ 0.21.x, 0.22.x, 0.23.x：hadoop-0.21.0/，hadoop-0.22.0/，hadoop-0.23.0/，hadoop-0.23.1/ 1.0.x稳定版本：hadoop-1.0.0/，hadoop-1.0.1/ 其中0.20.203.x 是老的稳定版本，发布于2011年5月11???，官方的说明是：“It is stable and has been deployed in large (4,500 machine) production clusters”。 到2011年12月27日，在 的基础上发布了hadoop-1.0.0 /common/releases.html#27+December%2C+2011%3A+release+1.0.0+available 1.1.x版本(beta)：hadoop-1.1.0/，hadoop-1.1.1，hadoop-1.1.2/ 2.x.x版本(alpha)：hadoop-2.0.0/，hadoop-2.0.1，hadoop-2.0.2, hadoop-2.0.3 / 目前我们开课及对外提供服务的Hadoop 集群是版本的 Hadoop-0.20.xxx 的API是一致的 课程中可以参考/common/docs/r/api/index.html 或者参考所下载的Hadoop包中d