集团大数据平台项目案例分析.docx

第PAGE \* MERGEFORMAT1页，共NUMPAGES \* Arabic \* MERGEFORMAT41页 PAGE \* MERGEFORMAT PAGE \* MERGEFORMAT 1集团大数据平台项目案例分析目 录 TOC \o "1-3" \f 1 综述 PAGEREF _Toc508651671 \h 21.1 项目背景 PAGEREF _Toc508651672 \h 21.2 建设目标 PAGEREF _Toc508651673 \h 21.3 相关案例介绍 PAGEREF _Toc508651674 \h 31.3.1 四川移动经分系统云化 PAGEREF _Toc508651675 \h 31.3.2 重庆移动大数据平台 PAGEREF _Toc508651676 \h 71.3.3 江苏电信2014年大数据基础平台项目 PAGEREF _Toc508651677 \h 81.3.4 江苏电信2014年大数据经营支撑平台项目 PAGEREF _Toc508651678 \h 121.3.5 浙江联通大数据能力平台 PAGEREF _Toc508651679 \h 191.3.6 湖北移动大数据平台 PAGEREF _Toc508651680 \h 231.3.7 山东移动2015年大数据平台项目 PAGEREF _Toc508651681 \h 261.3.8 上海移动2015年大数据平台管控项目 PAGEREF _Toc508651682 \h 281.3.9 中信银行股份有限公司电子银行实时风险监控系统 PAGEREF _Toc508651683 \h 301.3.10 中信银行集团数据共享应用项目 PAGEREF _Toc508651684 \h 321.3.11 成都农商行大数据操作平台项目 PAGEREF _Toc508651685 \h 331.3.12 恒丰银行数据标准实施案例 PAGEREF _Toc508651686 \h 361.3.13 CNTV（中国网络电视台）用户画像案例 PAGEREF _Toc508651687 \h 371.3.14 泰康人寿家族关系图谱案例 PAGEREF _Toc508651688 \h 39综述项目背景互联网、云计算、物联网、及时通讯工具和社交网络的兴起和普及，特别是大数据技术的应用，正深刻改变着当前市场格局。2012年1月，达沃斯世界经济论坛发布的《大数据，大影响：国际发展的新可能》的报告宜称，大数据已成为与货币和黄金一样的一种新的经济资产类别。2012年3月29日，美国总统办事室（EOP）公布了《大数据研究和发展规划》，把大数据研发应用从商业行为提升到国家战略层面。在这种新形式下，大数据项目将会作为整个集团的跨公司、跨部门、跨内外的数据综合服务平台，承载着互联网+业务的核心枢纽。该平台的主要建设目标是为集团及其全部相关机构提供全栈大数据服务，包括技术平台、数据应用及产品、数据服务。该平台的建设目标并不仅仅局限于使用大数据技术构建数据分析系统，而是基于云计算、云服务的理念，打造集团“数据即服务”的平台理念。通过整合集团、子公司、互联网+平台、第三方等数据，通过授权机制为集团本部、各子公司、合作伙伴、投资方等提供经营、决策等所需的相关大数据能力和数据服务。建设目标本期项目建设目标：为集团及其全部相关机构提供全栈式大数据服务，包括技术平台、数据应用及产品、数据服务；基于云计算、云服务的理念，打造集团“能力、数据即服务”的平台理念；为集团本部、各子公司、合作伙伴、投资方等提供经营、决策等所需的相关大数据基础能力和数据服务。相关案例介绍四川移动经分系统云化场景描述通过大量的X86服务器，构建计算能力、存储能力比较大的云平台，将BASS平台的营帐、详单接口全面云化，并对ODS层进行汇总，形成DWD层，屏蔽将来ODS层变化带来的影响，传统仓库仅仅存储部分常用数据，并提供部分应用访问层。建设内容：1、数据模型部分重构分析新旧接口，建立DWD轻度汇总层；汇总层模型重构；设计用户统一视图、标签库。2、云平台建设详单数据存储在云平台中；详单数据按应用进行处理和存储；涉及到访问详单明细的应用向云平台迁移的改造；详单数据处理后的以用户中心使用行为指标汇总层数据输送至传统仓库；3、统一调度平台建设支撑云平台相关作业及云ETL调度；数据量：每天总共500G左右，共17种Boss详单每天2-3亿条语音详单，文件总大小约100G；每天6-7亿条短信详单，文件总大小约300G其它总共100G左右技术方案图 四川经分云化系统技术架构图1、Hadoop平台承担所有数据源的ETL；2、ETL后的详单不需要入库，直接存放在Ha