hadoop与hbase与hive与oozie安装使用文档..docVIP

Hadoop HBase Hive Oozie 安装使用文档 目录 Hadoop-2.0 HA 解决方案安装文档 1 1.安装NFS并配置共享目录 2 2.修改hadoop安装目录下etc/hadoop/core-site.xml 4 3.修改hdfs-site.xml 4 4.NameNode格式化 6 5.HDFS (HA) 的初始化 7 6.zkfc格式化 7 7.HDFS(HA) 的管理 7 8.验证hadoop-2.0 HA高可用是否成功 7 HBase 安装文档 10 一、环境简介 10 二、安装 10 1.解压安装包 10 2. 修改配置文件hbase-site.xml 10 3. 修改配置文件regionservers 11 4. 修改配置文件hbase-evn.sh 11 5. 使用scp命令将HBase主目录复制到另外三台服务器相同的路径下： 11 6.对每台服务器进行时间同步 11 7. 启动HBase 12 8.验证是否成功启动 12 9.关闭HBase 13 Hive安装文档 14 一、环境简介 14 二、 安装步骤 14 1. 为Hive创建mysql用户及数据库，并赋予足够的权限 14 2. 解压Hive安装包 14 3. 生成配置文件 14 4. 修改配置文件 15 5. 下载、安装mysql驱动 15 6. 验证Hive安装 16 三、Hive的连接 16 1.使用jdbc连接Hive数据库 16 2使用HBase连接Hive数据库 17 Oozie安装使用文档 20 一、 环境简介 20 二、 安装步骤 20 1. 解压Tomcat安装包 20 2. 验证Tomcat安装 20 3.为Oozie创建mysql用户及数据库，并赋予足够的权限 21 4.解压Oozie安装包 21 5.添加环境变量 21 6.修改配置文件 21 7.安装mysql驱动 22 8.在mysql上为Oozie创建数据库模式 22 9.安装Oozie Web控制台 22 10. 启动Oozie 22 11. 查看Web控制台 22 12. 关闭Oozie 23 三、 使用范例 23 1解压Oozie自带的examples包 23 2.将解压出的examples文件夹上传至hadoop存储环境的根文件夹下 23 3. 修改Hadoop的core-site.xml配置文件 23 4.修改map-reduce job的perties文件 24 5. 执行map-reduce job 24  Hadoop-2.0 HA 解决方案安装文档 版本：v1.0 发布日期：2012年8月21日 1.安装NFS并配置共享目录 NFS是Network File System的简写,即网络文件系统.网络文件系统是FreeBSD支持的文件系统中的一种，也被称为NFS. NFS允许一个系统在网络上与它人共享目录和文件。通过使用NFS，用户和程序可以象访问本地文件一样访问远端系统上的文件。CentOS系统中如何安装和配置nfs呢，下面我们就来学习一下方法。首先我们来介绍一些会用到的CentOS系统命令。 安装 创建共享目录 配置 在配置文件中添加你要共享的目录等信息，例如： /smp/hadoop-cdh4 *(rw,sync,no_root_squash) 内容具体参数说明如下： [共享的目录] [主机名或IP(参数,参数)] 其中参数是可选的，当不指定参数时，nfs将使用默认选项。默认的共享选项是 sync,ro,root_squash,no_delay。 CentOS系统中，当主机名或IP地址为空时，则代表共享给任意客户机提供服务。 当将同一目录共享给多个客户机，但对每个客户机提供的权限不同时，可以这样： [共享的目录] [主机名1或IP1(参数1,参数2)] [主机名2或IP2(参数3,参数4)] 下面是一些NFS共享的常用参数： 1. ro 只读访问 2. rw 读写访问 3. sync 所有数据在请求时写入共享 4. async NFS在写入数据前可以相应请求 5. secure NFS通过1024以下的安全TCP/IP端口发送 6. insecure NFS通过1024以上的端口发送 7. wdelay 如果多个用户要写入NFS目录，则归组写入（默认） 8. no_wdelay 如果多个用户要写入NFS目录，则立即写入，当使用async时，无需此设置。 9. hide 在NFS共享目录中不