集团大数据平台整体方案建议书.pdf

集团大数据平台 整体方案建议书 1 目 录 1 项目概述 14 1.1 建设背景 14 1.1.1 集团已有基础 14 1.1.2 痛点及需提升的能力 14 1.1.3 大数据趋势 15 1.2 建设目标 15 1.2.1 总体目标 15 1.2.2 分阶段建设目标 16 1.3 与相关系统的关系 16 1.3.1 数据分析综合服务平台 16 1.3.2 量收系统 17 1.3.3 金融大数据平台 18 1.3.4 各生产系统 18 1.3.5 CRM 18 1.4 公司介绍和优势特点 18 1.4.1 IDEADATA 18 1.4.2 TRANSWARP 20 1.4.3 我们的优势 21 2 业务需求分析 24 2.1 总体需求24 2.2 数据管理25 2 2.2.1 数据采集 25 2.2.2 数据交换 26 2.2.3 数据存储与管理 26 2.2.4 数据加工清洗 27 2.2.5 数据查询计算 27 2.3 数据管控28 2.4 数据分析与挖掘28 2.5 数据展现29 2.6 量收系统功能迁移30 3 系统架构设计 31 3.1 总体设计目标31 3.2 总体设计原则31 3.3 案例分析建议32 3.3.1 中国联通大数据平台32 3.3.2 恒丰银行大数据平台 40 3.3.3 华通 CDN 运营商海量日志采集分析系统51 3.3.4 案例总结 56 3.4 系统总体架构设计57 3.4.1 总体技术框架 57 3.4.2 系统总体逻辑结构 61 3.4.3 平台组件关系 63 3.4.4 系统接口设计 68 3 3.4.5 系统网络结构 72 4 系统功能设计 74 4.1 概述74 4.2 平台管理功能74 4.2.1 多应用管理 74 4.2.2 多租户管理 78 4.2.3 统一运维监控 79 4.2.4 作业调度管理 98 4.3 数据管理 100 4.3.1 数据管理框架 100 4.3.2 数据采集 102 4.3.3 数据交换 105 4.3.4 数据存储与管理