中移动企业级大数据中心建设指导意见.docVIP

中国移动企业级大数据中心建设指导意见 为进一步提高中国移动互联网战略的服务能力，对内驱动企业管理的精细化、智能化，对外提供信息服务型产品，实现大数据开放后的运营和服务提升，公司决定在全国范围内实施中国移动企业级大数据中心建设工作，通过整合全公司数据资源，盘活数据资产公司第三条曲线企业级大数据中心作为中国移动唯一、统一的数据、处理、运营的平台，各省和共享平台、交换、管理、、服务和运营数据价值级大数据中心机构，公司全局，大数据平台的规划、建设运维，以及数据资产管理、产品开发数据运营。大数据中国移动逻辑集中全部 （三）做好服务：企业级 数据基础服务能力：数据基础服务能力是大数据平台的基础，包含数据采集功能、数据存储运算功能、数据交互功能。数据采集需包括来自BSS、OSS、MSS的基础数据、来自于用户上网行为的DPI二次解析数据以及来自外部的第三方数据的数据采集。数据存储运算功能可根据数据类型及应用采用不同类型的数据库技术实现对不同价值、规模、时效性的数据差异化存储和运算。数据交互功能是实现不同形式的数据存储之间的数据交互。 平台管理提供 数据资产管理能力：数据资产管理能力包括数据质量管理、数据安全管理等。数据安全管理提供跨租户、跨时间、跨平台、跨任务的数据质量监控与管理。数据安全管理能力对使用者进行相关的账号、授权、鉴权等设置。 为支持应用开发者高效、安全、规范的进行应用开发，需要注册认证、资源申请、数据申请、开发上线功能。集成图形化的开发界面，通过统一封装的函数库提供类SQL的开发语言，以屏蔽底层差异性，降低业务人员的开发门槛，实现快速的业务开发。 按照“逻辑统一，物理分离”的原则构建全国统一的多域融合企业级大数据中心。在云资源池基础上按照“1+31”方式在总部和省公司分别建设总部节点和省级节点。总部节点采集总部系统和专业公司系统以及全国性、总体性对外业务合作的外部数据；省级节点采集省内系统BSS、MSS、OSS三域及其它系统数据、省级对外业务合作的外部数据。总部节点和省级节点之间通过轻度汇总和高价值详单数据接口进行数据交互，逐步形成全国共享、按需服务、形成大数据的良性生态圈，对内对外提供数据、平台和应用服务。 图1 中国移动企业级大数据中心的体系架构 利用现有集中化经分系统，向企业级大数据中心演进，利用省公司现有经分系统能力，演进为省公司大数据中心，合理利用现有资源，实现大数据中心能力的快速搭建和提升，打造“DW+MPP+Hadoop”混搭技术架构。 Hadoop：承载大数据中心的ETL功能，实现三域数据定时、实时数据处理；承载清单、网络信令、非结构化数据等基础数据处理；建立企业级统一标准模型，并且对外提供明细查询服务。采用Hadoop技术和PC服务器架构解决数据量大、数据多样的问题； MPP：是使用SQL进行结构化大数据处理和分析最好的技术选择，具有高并发、支持多表联合复杂查询、高安全等优势。 DW：传统数据库，面向企业级高性能数据处理，进行复杂汇总分析运算。采用高性能库和传统小机架构提升数据分析性能，集中保障集团、省级应用。 企业级大数据中心各节点按照能力需求划分为数据源、资源池层、数据采集/分发层、数据计算和存储层、能力开放层、数据运维和管理数据、数据应用。 图2 企业级大数据中心节点功能结构 数据源 数据源包括企业内部BSS域、OSS域、MSS域各系统的清单级和汇总级数据，以及企业外部系统的数据。 重点接入LTE的XDR数据，实现O域、M域及外部数据源与现有B域数据的融合； 资源池层 采用云计算、虚拟化技术整合计算、存储和网络等硬件资源向上提供服务。 数据采集和分发 以离线批抽取和在线实时抽取方式从数据源系统采集数据，将采集数据或DPI二次解析后的数据按照数据种类分发至负责数据计算和存储的各类集群，并协调各集群之间的数据同步。 数据计算和存储 为适应各类海量结构化，非结构化数据的计算和存储要求的多种集群。包括面向批处理的Hadoop集群（MR，Spark，用于ETL）、面向文件存储和查询的Hadoop集群（HDFS,Hbase,Hive）、流处理集群（Storm/Spark Streaming）传统数据仓库集群DW、MPP数据仓库集群、内存数据库集群。各集群数据流向呈交叉网状，应支持资源的多租户调用。 能力开放层 从数据、API、工具三个层次对外提供服务。透明数据层在各类数据计算和存储集群之上提供一个面向各类应用的统一数据访问能力，屏蔽各计算和存储集群的复杂性。OPEN API以接口方式封装各类数据计算和存储集群的能力，供各类应用调用。并提供自助报表、OLAP工具、SAS/SPSS数据挖掘、IDE等工具类服务。 数据运维和管理 包含数据资产管理、元数据管理、统一调度、多租户管理、资源池运营、权限管理、安全管理、系统运维管