集团大数据平台项目整体方案规划.pdf

集团大数据平台项目 整体方案规划 第 1 页，共 576 页 目录 1 综述 8 1.1 项目背景 8 1.2 建设目标 8 1.3 需求分析 8 1.3.1 基础平台 9 1.3.2 企业画像应用 10 2 总体建设方案 11 2.1 平台框架设计理念 11 2.2 功能架构 12 2.3 技术架构 13 2.4 产品覆盖综述 14 2.5 数据分布架构 15 2.6 关键技术说明 15 2.6.1 云服务平台 15 2.6.2 Hadoop平台 27 2.6.3 元数据管理 28 2.6.4 数据治理 35 2.6.5 爬虫引擎 40 2.6.6 数据探索 44 2.6.7 自助分析 45 2.6.8 企业画像 46 3 详细技术方案 49 3.1 方案总述 49 3.2 云服务平台产品 49 3.2.1 产品功能介绍 49 3.2.2 服务框架 52 3.2.3 后端服务标准 53 3.2.4 应用框架 54 3.2.5 应用标准 55 3.2.6 计费框架 60 3.2.7 应用迁移 63 3.2.8 基于云服务平台产品部署开发 63 3.2.9 管控中心功能集成 68 3.3 Hadoop平台产品 71 3.3.1 Hadoop平台产品架构介绍 72 3.3.2 Hadoop平台主要功能组件 75 3.3.3 平台增强功能 79 3.3.4 多集群统一管理能力 82 3.3.5 Hadoop平台与云服务平台无缝整合 85 3.4 数据治理产品 86 3.4.1 数据治理 86 第 2 页，共 576 页 3.4.2 在线开发平台 115 3.4.3 数据评估管理 130 3.5 ETL产品 134 3.5.1 ETL产品整体介绍 134 3.5.2 数据采集 141 3.5.3 数据清洗 147 3.5.4 数据加载 151 3.5.5 异构数据交换 155 3.5.6 统一调度 157 3.6 自助分析产品 170 3.6.1 产品总体介绍 170 3.6.2 自助取数 172 3.6.3 数据处理 180 3.6.4 自助分析 181 3.6.5 配置管理 188 3.6.6 系统监控 192 3.7 数据探索产品 194 3.7.1 数据挖掘建模 196