EasyHadoop集群部署文档.docVIP

EasyHadoop | < STYLEREF "1" EasyHadoop集群部署入门文档> | EasyHadoop PAGE 15 [EasyHadoop [EasyHadoop集群部署入门文档v1.0] [讲解 [讲解Hadoop单机安装和Hadoop集群安装的方法和步骤,本文档希望让Hadoop安装部署更简单(Easy)。] [ [EasyHadoop开源社区] [北京市海淀区学院路51号首享科技大厦 13层] [传智Hadoop学习QQ群: 230507234] Time \@ "yyyy年M月d日"2013年3月18日 EasyHadoop集群部署入门文档 修订记录 日期 修改原因 描述 作者 2012/02/14 初稿 Hadoop部署文档 向磊 2012/07/14 完善细节 新基础环境配置,修改配置文件,修改架构图。 童小军 2012/07/16 完善细节 完善系统检查方法,完善目录结构和注释,添加封面 童小军 2012/07/16 添加图例 添加生产集群部署图,组件的依赖关系 童小军 目录 TOC \o "1-3" \h \z \u 1756 EasyHadoop集群部署文档 2 27367 目录 2 24324 1. 文档概述 2 4000 2. 背景 3 19944 3. 名词解释 3 32233 4. 服务器结构 3 23498 5. Red hat Linux基础环境搭建 4 11559 #linux 安装 (vm虚拟机) 4 6657 #配置机器时间同步 4 2770 #配置机器网络环境 4 17335 #配置集群 hosts 列表 7 8882 #安装 JAVA JDK系统软件 7 9649 #创建用户账号和Hadoop部署目录和数据目录 8 17939 6. Hadoop 单机系统 安装配置 8 3393 #Hadoop 文件下载和解压 8 4456 #Hadoop Common组件 配置 core-site.xml 9 16334 #HDFS NameNode,DataNode组建配置 hdfs-site.xml 10 27704 #配置MapReduce - JobTracker TaskTracker 启动配置 11 18328 #Hadoop单机系统,启动执行和异常检查 12 15693 7. Hadoop 集群系统 配置安装配置 13 1953 #检查node节点linux 基础环境是否正常,参考 [ linux 基础环境搭建]一节。 13 7545 #配置从master 机器到 node 节点无密钥登陆 13 22502 #检查master到每个node节点在hadoop用户下使用密钥登陆是否正常 14 25969 #配置master 集群服务器地址 stop-all.sh start-all.sh 的时候调用 15 13384 8. 自动化安装脚本 15 6028 #master 服务器自动安装脚本 16 文档概述 本文档是Hadoop部署文档,提供了Hadoop单机安装和Hadoop集群安装的方法和步骤,本文档希望让Hadoop安装部署更简单(Easy)。 本安装文档适用于 centos 5 /red hat 5.2 32位,64位版本,ubuntu 等操作系统 需要做部分修改。 背景 Hadoop为分布式文件系统和计算的基础框架系统，其中包含hadoop程序，hdfs系统等。 名词解释 Hadoop, Apache开源的分布式框架。 HDFS, hadoop的分布式文件系统 NameNode, hadoop HDFS元数据主节点服务器，负责保存DataNode 文件存储元数据信息。 JobTracker, hadoop的Map/Reduce调度器，负责与TackTracker通信分配计算任务并跟踪任务进度。 DataNode, hadoop数据节点，负责存储数据。 TaskTracker, hadoop调度程序，负责Map,Reduce 任务的具体启动和执行。 Fuse, 多文件系统内核程序，可将不同的文件系统mount成linux可读写模式 服务器结构 #Hadoop试验集群的部署结构 部署路径：/opt/modules/hadoop/hadoop-1.0.3/ #系统和组建的依赖关系 #生产环境的部署结构 Red hat Linux基础环境搭建 #linux 安装 (vm虚拟机) 请参考其他 vmware 虚拟机安装文档。设置网络为 net 模式。 #配置机器时间同步 #配置时间同步 crontab -e 0 1 * * * root /usr/