先电大数据平台操作手册-XianDian-BigData-v2.1.docxVIP

南京第五十五所技术开发有限公司 先电大数据平台 用户手册 版本：先电 Cloud-BigData-v2.1 发布日期： 2017年 02 月 21 日 南京第五十五所技术开发有限公司 1 版本修订说明 修订版本 修订时间 修订说明 XD-BigData-v1.3 2015年 10月 28日 先电大数据平台用户册 XD-BigData-v1.3.1 2016年 1 月 19日 增加 GRE、VLAN 网络的部署 方法 XD-BigData-v1.4 2016年 4 月 12日 为防止与 Java Web 中 MapReduce 开发混淆。删除 hadoop 案例开发 XD-BigData-v2.0 2016年11月1日 更新基于 Ambari 版本 二次开发的 hadoop 平台 XD-BigData-v2.0.1 2016年 12月 30日 更新镜像中与 perl 版本不兼容 问题的解决办法； XD-BigData-v2.0.2 2017年 01月 10日 升级系统版本为 centos7，升级 HDP 版本至 2.4。 XD-BigData-v2.0.3 2017年 02月 13日 更新软件包 logo XD-BigData-v2.0.5 2017年 02月 21日 更新软件包 logo ，修改文档 “8.2.2 基于项目的协同过滤” 表格参数 XD-BigData-v2.1 2017年 04月 21日 更新用户手册 2 南京第五十五所技术开发有限公司 目 录 1 概述 5 1.1 大数据简介 5 1.2 先电大数据平台简介 5 2 基本环境配置 6 2.1 配置主机名 7 2.2 修改 hosts 文件 7 2.3 修改 yum 源 7 2.4 配置 ntp 8 2.5 配置 SSH 9 2.6 禁用 Transparent Huge Pages 9 2.7 安装配置 JDK 10 3 配置 ambari-server 11 3.1 安装 MariaDB 数据库 11 3.2 安装配置 ambari-server 12 4 配置 ambari-agent 14 5 部署管理 Hadoop 集群 14 5.1 部署 Hadoop 集群 14 5.2 HDFS 运维管理 21 5.3 MapReduce 31 6 部署 Hive 数据仓库 32 6.1 部署 Hive 32 6.1 Hive 用户指南 34 7 部署 Hbase 分布式列数据库 49 7.1 部署 HBase 49 7.2 测试验证 51 7.3 HBase 用户指南 51 第3页共79页 南京第五十五所技术开发有限公司 8 部署 Mahout 数据挖据工具 59 8.1 部署 Mahout 59 8.2 测试验证 错误！未定义书签。 9 部署 Pig 数据分析平台 63 9.1 部署 Pig 63 9.2 Pig 简介 64 9.3 运行案例 66 第4页共79页 南京第五十五所技术开发有限公司 概述 1.1 大数据简介 “大数据” 是一个体量特别大， 数据类别特别庞杂的数据集合， 并且这样的数据集无法 用传统数据库工具或常规软件工具抓取、 管理和处理其内容。 大数据技术是指从各种各样类 型的庞杂数据中， 快速的获取有价值的信息的能力。 适用于大数据的技术包括大规模并行处 理数据库， 数据挖掘电网，分布式文件系统， 分布式数据库， 云计算平台和可扩展的存储系 统。 Apache 的 Hadoop 项目是可靠的、 可扩展的、开源的、分布式计算软件。 Apache 的 Hadoop 软件库是允许通过相对简单的程序模型构建计算集群为庞大的数据集进行分布式计算的框 架。 Hadoop 的设计思想可以将计算模式从单节点服务器扩展为数以千计的计算集群，每一 个单独的服务器都提供自主的本地计算及存储能力。 对于高可用指标而言， Hadoop 软件库自身可以通过检测和故障调试从应用层来实现高 可用而不需要关心硬件底层的高可用性。 所以提供一个计算集群上层的高可用服务对于集群 故障修复而言就显得至关重要。 1.2 先电大数据平台简介 先电大数据平台是基于 Ambari 进行二次开发的 Hadoop 分布式集群配置管理工具，该 平台通过安装向导来进行集群的搭建，简化了集群供应。 同时，他还有一个监控组件， 叫做 Ambari-Metrics ，可以提前配置好关键的运维指标（ metrics），然后收集集群的中服务、主机 等运行状态等信息，通过 WEB 的方式显示出来。我们可以直接查看 Hadoop Core（ HDFS MapReduce）及相关项目（如 HBas