MPP初稿大数据实施指导意见v02.docVIP

目 录 1 概述 1 1.1 大数据的定义 1 1.2 引入原则 2 1.3 编写目的 2 1.4 文档组织结构 2 2 大数据技术的引入 3 2.1 大数据时代技术发展 3 2.2 中国移动大数据特征 4 2.3 Hadoop与MPP对比 4 3 Hadoop实施指导意见 5 3.1 应用场景 5 3.1.1 批量数据ETL 6 3.1.2 详单查询 6 3.1.3 机器学习和数据挖掘 7 3.1.4 小结 8 3.2 方案设计阶段 8 3.2.1 整体规划 8 3.2.2 软件选择 8 3.2.3 硬件选择 9 3.2.4 节点规模评估 10 3.2.5 网络及组网 12 3.3 建设阶段 13 3.3.1 部署架构 13 3.3.2 软件参数建议 14 3.3.3 上线前准备 19 3.4 运维阶段 20 3.4.1 任务调度 20 3.4.2 监控管理 20 3.4.3 告警管理 22 3.4.4 部署管理 22 3.4.5 配置管理 23 3.4.6 安全管理 23 3.4.7 日志管理 24 3.5 培训与技术支持 25 4 MPP数据库指导意见 25 4.1 应用场景 25 4.1.1 数据集市 25 4.1.2 分析挖掘数据集市 26 4.1.3 历史库 26 4.1.4 场景小结 26 4.2 方案设计阶段 26 4.2.1 整体规划 26 4.2.2 软件选择 26 4.2.3 硬件选择 26 4.2.4 容量评估方法 26 4.2.5 网络评估方法 27 4.3 实施阶段 28 4.3.1 服务器常见配置 28 4.3.2 数据分布建议 29 4.4 运维阶段 30 4.5 培训与技术支持 31 5 系统集成实施指导意见建议 31 5.1 系统集成面临的挑战 31 5.2 数据互通 32 5.2.1 目的 32 5.2.2 建议方案 33 5.2.3 实现技术 35 5.3 统一管理监控 37 5.4 透明访问 38 6 附录A-大数据技术介绍 39 6.1 Hadoop及生态圈 39 6.1.1 Hadoop 简介 39 6.1.2 Hadoop生态圈系统 48 6.1.3 Hadoop1.0 特性 50 6.1.4 Hadoop2.0 特性; 51 6.1.5 Hadoop选型 54 6.1.6 Hadoop HA 方案对比 54 6.2 MPP数据库 58 6.2.1 MPP数据库定义 58 6.2.2 MPP数据库基本架构 59 6.2.3 MPP平台技术规范和要点 61 6.2.4 MPP主要产品介绍 61 6.3 X86服务器介绍 61 6.3.1 CPU架构 61 6.3.2 大数据场景下机器选型 62 6.4 IB网络和万兆网 组网 (hw) 63 6.4.1 IB网络 63 6.4.2 万兆网 66 6.4.3 千兆网 67 6.4.4 适用场景 67 6.5 硬盘 68 6.5.1 硬盘类型介绍 68 6.5.2 硬盘比较分析 69 6.5.3 硬盘选购建议 70 6.6 虚拟化 70 6.6.1 概念 70 6.6.2 虚拟化技术介绍 71 6.6.3 适用场景 72 7 附录B-参考案例 72 7.1 Hadoop实施案例 72 7.1.1 案例1：河南互联网内容分析 72 7.1.2 案例2：湖南移动经营分析云平台 73 7.1.3 案例3：联通总部3G上网详单查询分析 77 7.1.4 案例:4：广东移动清帐单查询分析 78 7.1.5 案例:5：河南经分ETL 79 7.1.6 案例6：上海电信网优项目 79 7.1.7 案例7：baidu的Hadoop部署 80 7.2 MPP实施案例 81 7.2.1 安徽移动数据集市 81 7.2.2 山东移动经分云数据仓库系统 82 7.2.3 江西移动信令监测系统 83 7.2.4 重庆电信数据集市项目 84 8 附录C-FAQ 86 8.1 Hadoop软件类 86 8.1.1 Hadoop的balance影响 86 8.1.2 Hadoop MapReduce 数据倾斜： 87 8.1.3 如何解决Shuffle易见错误 87 8.1.4 如何解决Too many fetch-failures 88 8.1.5 如何解决找不到数据块易见错误 88 8.1.6 如何解决OutOfMemoryError内存溢出问题 89 8.2 Hadoop硬件类 89 8.2.1 硬件损坏处理 89 8.3 MPP类 89 8.3.1 数据库运行缓慢 89 8.3.2 Segment故障切换与恢复 90 8.3.3 gp导入数据中失败 90 8.3.4 对一张