5easyhadoop实朵战手册.docVIP

[EasyHadoop [EasyHadoop 实战操作手册v1.0] 科技改变生活! 科技改变生活! EasyHadoop 让你的Hadoop应用飞起来! [EasyHadoop in action v1.1] [讲解 [讲解Hadoop单机安装和Hadoop集群安装的方法和步骤,本文档希望让Hadoop安装部署更简单(Easy)。] [ [EasyHadoop开源社区] [北京市海淀区学院路51号首享科技大厦 13层] EasyHadoop集群部署入门 修订记录 日期 修改原因 描述 作者 2012/02/14 初稿 Hadoop部署文档 向磊 2012/07/14 完善细节 新基础环境配置,修改配置文件,修改架构图。 童小军 2012/07/16 完善细节 完善系统检查方法,完善目录结构和注释,添加封面 童小军 2012/0 添加图例 添加生产集群部署图,组件的依赖关系 童小军 2012/08/07 添加EasyHive 添加EasyHive 章节 童小军 2012/09/07 完善内容 添加机器配置详解,和配置文件详解 童小军 2012/09/07 完善内容 添加任务调度,机架感知 童小军 目录 TOC \o 1-3 \h \z \u HYPERLINK \l _Toc17781 EasyHadoop集群部署入门文档 PAGEREF _Toc17781 2 HYPERLINK \l _Toc20988 目录 PAGEREF _Toc20988 2 HYPERLINK \l _Toc4660 1. 文档概述 PAGEREF _Toc4660 3 HYPERLINK \l _Toc2456 2. 背景 PAGEREF _Toc2456 3 HYPERLINK \l _Toc32501 3. 名词解释 PAGEREF _Toc32501 4 HYPERLINK \l _Toc16693 4. 服务器结构 PAGEREF _Toc16693 4 HYPERLINK \l _Toc13472 #Hadoop试验集群的部署结构 PAGEREF _Toc13472 4 HYPERLINK \l _Toc2122 #系统和组建的依赖关系 PAGEREF _Toc2122 5 HYPERLINK \l _Toc11834 #生产环境的部署结构 PAGEREF _Toc11834 6 HYPERLINK \l _Toc6542 5. Red hat Linux基础环境搭建 PAGEREF _Toc6542 6 HYPERLINK \l _Toc16475 #linux 安装 (vm虚拟机) PAGEREF _Toc16475 6 HYPERLINK \l _Toc20745 #配置机器时间同步 PAGEREF _Toc20745 6 HYPERLINK \l _Toc4466 #配置机器网络环境 PAGEREF _Toc4466 7 HYPERLINK \l _Toc13264 #配置集群hosts列表 PAGEREF _Toc13264 10 HYPERLINK \l _Toc12566 #下载并安装 JAVA JDK系统软件 PAGEREF _Toc12566 10 HYPERLINK \l _Toc7823 #生成登陆密钥 PAGEREF _Toc7823 11 HYPERLINK \l _Toc12023 #创建用户账号和Hadoop部署目录和数据目录 PAGEREF _Toc12023 11 HYPERLINK \l _Toc6460 #检查基础环境 PAGEREF _Toc6460 12 HYPERLINK \l _Toc22052 6. Hadoop 单机系统 安装配置 PAGEREF _Toc22052 13 HYPERLINK \l _Toc440 #Hadoop 文件下载和解压 PAGEREF _Toc440 13 HYPERLINK \l _Toc6086 #配置 hadoop-env.sh 环境变量 PAGEREF _Toc6086 13 HYPERLINK \l _Toc3113 #Hadoop Common组件 配置 core-site.xml PAGEREF _Toc3113 13 HYPERLINK \l _Toc18568 #HDFS NameNode,DataNode组建配置 hdfs-site.xml PAGEREF _Toc18568 14 HYPERLINK \l _Toc20292 #配置MapReduce - JobTracker TaskTracker 启动配置 PAGEREF _Toc2029