先电大数据平台操作手册-iandian-bigdata-v2.1.doc

先电大数据平台 用户手册 版本：先电 发布日期： 2017 年 02 月 21 日 南京第五十五所技术开发有限公司 版本修订说明 修订版本 修订时间 修订说明 2015年 10月 28日 先电大数据平台用户册 年1月19日 增加 GRE、 VLAN网络的部署方 法 2016年 4 月 12日 为防止与 Java Web 中 MapReduce开发混淆。删除 hadoop 案例开发 2016年 11 月 1日 更新基于 Ambari 版本 二次开 发的 hadoop 平台 年12月 30日 更新镜像中与 perl 版本不兼 容问题的解决办法； 年01月 10日 升级系统版本为 centos7 ，升 级 HDP版本至。 年02月 13日 更新软件包 logo 年02月 21日 更新软件包 logo ，修改文档 “基于项目的协同过滤” 表格参数 2017年 04月 21日 更新用户手册 目 录 1 概述 错误 !未定义书签。 大数据简介 错误 !未定义书签。 先电大数据平台简介 错误 !未定义书签。 2 基本环境配置 错误 !未定义书签。 配置主机名 错误 !未定义书签。 修改 hosts 文件 错误 !未定义书签。 修改 yum 源 错误 !未定义书签。 配置 ntp 错误 !未定义书签。 配置 SSH 错误 !未定义书签。 禁用 Transparent Huge Pages . 错误 !未定义书签。 安装配置 JDK 错误 !未定义书签。 3 配置 ambari-server 错误 !未定义书签。 安装 MariaDB 数据库 错误 !未定义书签。 安装配置 ambari-server . 错误 !未定义书签。 4 配置 ambari-agent 错误 !未定义书签。 5 部署管理 Hadoop 集群 错误 !未定义书签。 部署 Hadoop 集群 错误 !未定义书签。 HDFS运维管理 错误 !未定义书签。 MapReduce 错误 !未定义书签。 6 部署 Hive 数据仓库 错误 !未定义书签。 部署 Hive 错误 !未定义书签。 Hive 用户指南 错误 !未定义书签。 7 部署 Hbase 分布式列数据库 错误 !未定义书签。 部署 HBase 错误 !未定义书签。 测试验证 错误 !未定义书签。 HBase用户指南 错误 !未定义书签。 8 部署 Mahout 数据挖据工具 错误 !未定义书签。 部署 Mahout 错误 !未定义书签。 测试验证 错误 !未定义书签。 9 部署 Pig 数据分析平台 错误 !未定义书签。 部署 Pig 错误 !未定义书签。 Pig 简介 错误 !未定义书签。 运行案例 错误 !未定义书签。 概述 1.1 大数据简介 “大数据” 是一个体量特别大， 数据类别特别庞杂的数据集合， 并且这样的数据集无法 用传统数据库工具或常规软件工具抓取、 管理和处理其内容。 大数据技术是指从各种各样类 型的庞杂数据中， 快速的获取有价值的信息的能力。 适用于大数据的技术包括大规模并行处 理数据库， 数据挖掘电网，分布式文件系统， 分布式数据库， 云计算平台和可扩展的存储系 统。 Apache 的 Hadoop项目是可靠的、 可扩展的、开源的、分布式计算软件。 Apache 的 Hadoop 软件库是允许通过相对简单的程序模型构建计算集群为庞大的数据集进行分布式计算的框 架。 Hadoop的设计思想可以将计算模式从单节点服务器扩展为数以千计的计算集群，每一 个单独的服务器都提供自主的本地计算及存储能力。 对于高可用指标而言， Hadoop 软件库自身可以通过检测和故障调试从应用层来实现高 可用而不需要关心硬件底层的高可用性。 所以提供一个计算集群上层的高可用服务对于集群 故障修复而言就显得至关重要。 1.2 先电大数据平台简介 先电大数据平台是基于 Ambari 进行二次开发的 Hadoop 分布式集群配置管理工具， 该平 台通过安装向导来进行集群的搭建，简化了集群供应。同时，他还有一个监控组件，叫做 Ambari-Metrics ，可以提前配置好关键的运维指标 （ metrics ），然后收集集群的中服务、主 机等运行状态等信息，通过 WEB的方式显示出来。我们可以直接查看 Hadoop Core （ HDFS 和 MapReduce）及相关项目（如 HBase、Hive 和 HCatalog ）是否健康。它的用户界面非常直观，用户可以轻松有效地查看信息并控制集群。 先电大数据平台支持作业与任务执行的可视化与分析， 能够更好地查看依赖和性能。 通 过一个完整的 RESTful