EasyHadoop实战手册整理.doc

[EasyHadoop [EasyHadoop 实战操作手册v1.0] 科技改变生活 科技改变生活! EasyHadoop 让你的Hadoop应用飞起来! [EasyHadoop in action v1.1] [ [讲解Hadoop单机安装和Hadoop集群安装的方法和步骤,本文档希望让Hadoop安装部署更简单(Easy)。] EasyHadoop集群部署入门 修订记录 日期 修改原因 描述 作者 2012/02/14 初稿 Hadoop部署文档 向磊 2012/07/14 完善细节 新基础环境配置,修改配置文件,修改架构图。 童小军 2012/07/16 完善细节 完善系统检查方法,完善目录结构和注释,添加封面 童小军 2012/07/16 添加图例 添加生产集群部署图,组件的依赖关系 童小军 2012/08/07 添加EasyHive 添加EasyHive 章节 童小军 2012/09/07 完善内容 添加机器配置详解,和配置文件详解 童小军 2012/09/07 完善内容 添加任务调度,机架感知 童小军 目录 TOC \o 1-3 \h \z \u 17781 EasyHadoop集群部署入门文档 2 20988 目录 2 4660 1. 文档概述 3 2456 2. 背景 3 32501 3. 名词解释 4 16693 4. 服务器结构 4 13472 #Hadoop试验集群的部署结构 4 2122 #系统和组建的依赖关系 5 11834 #生产环境的部署结构 6 6542 5. Red hat Linux基础环境搭建 6 16475 #linux 安装 (vm虚拟机) 6 20745 #配置机器时间同步 6 4466 #配置机器网络环境 7 13264 #配置集群hosts列表 10 12566 #下载并安装 JAVA JDK系统软件 10 7823 #生成登陆密钥 11 12023 #创建用户账号和Hadoop部署目录和数据目录 11 6460 #检查基础环境 12 22052 6. Hadoop 单机系统 安装配置 13 440 #Hadoop 文件下载和解压 13 6086 #配置 hadoop-env.sh 环境变量 13 3113 #Hadoop Common组件 配置 core-site.xml 13 18568 #HDFS NameNode,DataNode组建配置 hdfs-site.xml 14 20292 #配置MapReduce - JobTracker TaskTracker 启动配置 15 11828 #Hadoop单机系统,启动执行和异常检查 17 1006 #通过界面查看集群部署部署成功 18 1875 #通过执行 Hadoop pi 运行样例检查集群是否成功 19 6872 #安装部署 常见错误 20 17628 7. Hadoop 集群系统 配置安装配置 20 8194 #检查node节点linux 基础环境是否正常,参考 [ linux 基础环境搭建]一节。 20 11821 #配置从master 机器到 node 节点无密钥登陆 20 25415 #检查master到每个node节点在hadoop用户下使用密钥登陆是否正常 21 10716 #配置master 集群服务器地址 stop-all.sh start-all.sh 的时候调用 21 22114 #通过界面查看集群部署部署成功 22 31281 #通过执行 Hadoop pi 运行样例检查集群是否成功 24 21520 8. 自动化安装脚本 25 29249 #master 服务器自动安装脚本 25 24883 Hive仓库集群部署入门文档 27 4350 1. 名词解释 27 16424 2. Hive的作用和原理说明 27 6591 #数据仓库结构图 27 12201 #Hive仓库流程图 27 15882 #hive内部结构图 27 14841 3. Hive 部署和安装 27 19110 #安装Hadoop集群,看EasyHadoop安装文档。 27 24103 #安装Mysql,启动Mysql,检查gc++包。 27 6714 #解压Hive包并配置JDBC连接地址。 27 27818 #启动Hive thrift Server。 27 25105 #启动内置的Hive UI。 27 31144 4. Hive Cli 的基本用法 28 20912 #登陆查询 28 6817 #查询文件