01_伪分布下Haoop-Hive-HBase搭建.docVIP

文件状态： [√] 草稿 [ ] 正式发布 [ ] 正在修改 项目名称 SmartHome 文档名称 伪分布下Hadoop-Hive-HBase搭建 作者 陈楠 当前版本 V1.0.2 页数 19 完成时间 2012-5-8 文档控制 起止日期 修改类型 作者 参与者 版本 备注 2012-05-01——2012-05-04 陈楠 V1.0.0 伪分布 Eclipse插件 2012-05-04——2012-05-09 A 陈楠 V1.0.1 Hive配置 HBase配置 2012-05-09——2012-07-03 M 陈楠 V1.0.2 蓝色字体为此次更新内容 修改类型：A——加工 M——修改 D——删除 黑色颜色字体为系统输出或已存在内容 绿色颜色字体为输入或修改的内容 紫色字体为提示信息或注意信息 红色字体为需要注意的路径问题 目录 1. 使用的软件版本 2 2. 安装好虚拟机及创建linux系统 2 3. 基本配置 2 3.1. ssh的安装设置 2 3.1.1. 由于Hadoop用ssh 通信，先进行免密码登录设定 2 3.1.2. 完成后请登入确认不用输入密码（第一次登入需输入密码，第二次就可以直接登入到系统） 2 3.1.3. Agent admitted failure to sign using the key错误 2 3.1.4. 成功界面 2 3.2. 安装与配置JAVA 2 4. Hadoop配置——伪分布模式 3 4.1. Hadoop环境参数 3 4.2. hadoop配置 3 4.3. Hadoop运行 4 4.3.1. 格式化分布式文件系统 4 4.3.2. 启动hadoop守护进程： 4 4.3.3. 复制文件 4 4.4. 运行WordConut实例： 5 4.5. 停止Hadoop守护进程。 6 5. Eclipse-plugin编译 6 5.1. 注意点 6 5.2. 可选步骤：使用系统自带的ant 6 5.3. 可选步骤：编译hadoop的core 6 5.4. 从已编译好的hadoop进行eclipse-plugin编译 6 5.5. Eclipse-Plugin配置 8 6. Hive配置 8 6.1. 注意事项 8 6.2. 获得Hive 8 6.3. Hive环境参数 8 6.4. Hive配置 9 6.5. 创建Hive文件路径 9 6.6. 运行hive 9 6.7. 测试 9 6.8. 测试MapReduce 10 7. Hive-MySql配置 10 7.1. 问题引入 10 7.2. 安装mysql并启动对应服务 10 7.3. 为Hive建立相应的MySQL帐号，并赋予足够的权限 10 7.4. 修改配置文件hive-site.xml 10 7.5. 把MySQL的JDBC驱动包复制到Hive的lib目录下。 11 7.6. 重新运行hive 11 7.7. 查看一下元数据的效果。 11 8. HBase配置 11 8.1. 修改打开文件数目的限制 11 8.2. 设置系统允许运行的最大进程数目 11 8.3. 获得HBase 11 8.4. HBase环境参数 12 8.5. HBase配置 12 8.5.1. 修改HBase路径下的conf/hbase-site.xml文档 12 8.5.2. 修改HBase路径下的conf/hbase-env.sh文档 13 8.6. 修改hadoop的配置文件 13 8.6.1. 启动durable sync功能 13 8.6.2. 配置HDFS一次最多可以提供的文件数上限： 13 8.7. 启动HBase 13 8.8. 测试 13 8.9. 重启后无法停止HBase问题 14 9. 错误总结 15 9.1. 命令行中执行错误 15 9.1.1. Agent admitted failure to sign using the key 15 9.1.2. WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException 15 9.1.3. org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode 15 9.1.4. ERROR security.UserGroupInformation: PriviledgedActionException 15 9.1.5. Exception in thread main java.io.IOExc