运营商大数据平台整体规划.pptx

运营商大数据平台整体规划;目录;经营分析系统架构演进—系统现状;;经营分析系统架构演进-架构驱动;各系统定位;;经营分析系统数据架构现状;主仓库：数据来源于BOSS、CRM等源系统，可用空间51.6T，已用空间46T； 应急库：除包含主仓库全部数据外，还包含网络数据，可用空间87T，已用空间60T； 历史库：主要存储主仓库处理后的历史数据，详单保留3+1月，其他数据6-12月不等，可用空间114.8T，已用空间90T。;经营分析系统各子系统数据分布-数据仓库数据分布;经营分析系统各子系统数据分布-历史库数据分布;接口工具/JDBC ;经营分析系统各子系统数据分布-地市中心数据分布;经营分析系统各子系统数据分布-创新平台;经营分析系统各子系统数据分布-报表、挖掘平台;目录;流量经营时代带来的大数据挑战;大数据的特点和对IT系统的核心要求;传统IT架构应对大数据挑战存在的不足;目录;现状分析一：现有架构在处理海量数据时存在系统瓶颈，无法满足业务要求;现状分析一（续）：现有架构在处理海量数据时存在系统瓶颈，无法满足业务要求;现状分析一（续）：系统瓶颈分析-接口机;现状分析一（续）：系统瓶颈分析-应急库;现状分析二：数据分布缺乏规则，造成数据冗余，数据交互缺乏统一管理，造成数据质量隐患和数据交互延迟;目前历史库数据存储方式依然为传统的小型机+磁盘阵列的模式，这种模式下随着相关经分系统数据量的快速增长而需要不断的进行系统扩容，硬件投资和运维成本较高。;目录;相关规范及总部要求;目录;现有经分系统优化方案;经分系统扩容的方式无法满足长期规划需求，建议调整大数据处理架构;系统架构调整原则和思路;目录;移动集团集中化经分案例：主数据仓库+深度分析云+非结构化数据云;eBay大数据分析架构案例：EDW+深度分析+Hadoop;目录;大数据处理目标架构及定位;大数据处理目标架构及定位（续）;大数据处理架构的总体性能量化目标;大数据处理目标架构数据分布;;大数据处理目标架构数据流向（续）客户资料、订购关系类数据分布及流向;大数据处理目标架构数据流向（续）网络流量、计费详单类数据分布及流向;各平台数据存储周期及数据量???求（单位：TB）;大数据处理目标架构关键点分布;大数据处理目标架构关键点详解-云化数据交换平台;大数据处理目标架构关键点详解-大数据分析平台;大数据处理目标架构关键点详解-云化历史库;;大数据处理目标架构关键点详解-云化历史库;大数据处理目标架构关键点详解-各系统配合改造;目录;云化数据交换平台技术要求;大数据分析平台技术要求;云化历史库平台技术要求;大数据处理架构各平台能力要求总结;大数据处理架构平台选型建议新型MPP关系型数据库与Hadoop的对比评估;云化数据交换平台选型建议建议采用Hadoop构建云化数据交换平台;大数据分析平台选型建议建议采用新型MPP关系型数据库构建大数据分析平台;云化历史库平台选型建议建议采用新型MPP关系型数据库构建历史库;计算能力估算参数;大数据分析平台建设规模估算以Aster数据库 + X86服务器为例;云化历史库建设规模估算;调整后现有数据仓库可满足需求时限估算;项目阶段划分（1/3）;项目阶段划分（1/3）;;调整设备用途说明;各项工作安排;;现状——经分系统基础设施现状分析（1）