数据中心建设实施方案简版本.docxVIP

v1.0 可编辑可修改 企业数据中心系统平台 技术方案建议书 1 第 1页 共59页 v1.0 可编辑可修改 i v1.0 可编辑可修改 第 1章 总体建设方案 1.1 总体建设思路 图、数据中心构建思路图 按照对数据中心的理解，完整的数据中心应该具备 IT 基础设施（主机、存储、网络） 、 企业级 ETL平台、数据存储中心、数据共享服务、应用层、统一门户、数据管控平台。 第2页共 59页 v1.0 可编辑可修改 1.2 功能框架 图、功能框架 系统功能框架分为企业级 ETL 平台、存储与计算中心、服务层、应用层、统一门户、统 一平台管控。 企业级 ETL平台： 负责企业数据中心数据采集、加工、汇总、分发的过程，完成企业级数据标准化、集中 化，实现数据脉络化、关系化，实现统一的数据处理加工，包括：非实时数据处理和实时数 据处理，提供数据抽取、数据转换、数据加载、数据汇总、数据分发、数据挖掘等能力。 存储与计算中心： 建立统一的数据中心数据模型， 以及统一的数据存储与计算， 具体提供关系数据库、 分 布式非关系数据库、分布式文件、分布式计算，实现统一的数据存储与计算。 第3页共 59页 v1.0 可编辑可修改 数据共享服务： 通过数据服务标准化开放访问，帮助企业 IT 建设中，应用和数据分离，引入更多的应 用开发商， 促进应用的百花齐放和应用的专业性； 基于标准化接口， 实现对标签、 客户视图、 指标等数据查询 API 封装，实现与周边系统实时互动，体现数据价值， 减少数据冗余， 保证 数据安全，保证数据的一致性。 应用层： 应用层的应用使用服务层提供的各种数据服务。 本期应用层包括： 经分应用、 流量运营、 ESOP应用、 VGOP应用、指标库、流量运营战略地图、掌上分析、自助业务分析、区域洞察、 渠道运营、自助分析、客户标签库、实时营销、 LTE互联网管控策略。 统一门户： 提供统一域名分配、负载均衡、鉴权管理、统一管控平台接入、应用注册、应用发布、 应用访问数据信息等功能，同时提供数据中心被应用访问的频次，被应用访问的数据范围， 提供数据资产的评估，为应用上下线和数据开放提供依据。 统一平台管控： 面向开发人员、运维人员实现数据、应用、资源的统一管控，包括：数据资产管控、开 发管理、监控管理、调度管理、系统管理、安全管理。 第4页共 59页 v1.0 可编辑可修改 1.3 技术架构 图、技术架构 系统技术架构分为数据采集、计算存储服务、数据共享服务、平台管控。采用 Hadoop 云技术， 可以满足计算能力线性扩展、 多租户能力、 数据汇总能力； 批处理场景采取 Hadoop 的 Map/Reduce、 Hive 或者 Spark 来完成；流式数据处理，采用 Esper 计算引擎实现。 数据采集： 采用 Flume 计算框架，实现文件和消息采集与解析；采用流式爬虫、中文分词、图片识 别技术，实现互联网网页信息实时采集；采用 FTP 文件方式实现对数据文件的采集；采用 Socket 消息方式实现对消息数据的采集； 采用 sqoop 方式实现将数据库数据装载到 HDFS文 件系统。 计算存储服务： 采用 Hadoop 中 HDFS文件系统提供统一的大数据数据存储，满足全量数据留存；基于 Yarn 提供跨平台的资源管理，满足资源的统一调度与管理；采用 Hadoop 实现非实时 ETL， 实现海量数据的批处理，主要处理 ODS层 -DWD层-DW层-ST 层的数据处理；视业务数据 情况部分 DW层 -ST 层的数据处理采用 Spark 计算框架实现；采用 Esper 和 rabbitmq 支撑 流数据处理与复杂事件处理；利旧 DB2提供 ST 层数据的存储与计算，支持高并发的指标级 第5页共 59页 v1.0 可编辑可修改 数据共享。 数据共享： 数据开放共享采用基于 HTTP协议 REST风格的 OpenAPI 完成同步处理与基于消息队列 （MQ）完成异步处理，实现类 SOA面向服务的架构体系。 支持 OAuth 提供一个安全的、 开放 而又简易的授权协议。  数据共享服务部署在集群环境中以应对高并发的访问请求，  并实现集 群的负载均衡。 统一平台管控： 采用 Java EE技术，通过  MVC模式（ Model View Controller  ，是模型－视图－控制器） 把业务逻辑、数据、 界面显示分离的方法组织代码，将业务逻辑聚集到一个部件里面，  在改 进和个性化定制界面及用户交互的同时，不需要重新编写业务逻辑。 1.4 数据流图 Mc信令（实时）数据通过 Socket 消息适配模块接入至 Esper 向应用提供事件 API 服务，支撑实时营销应用；后期如 Gn信令、  计算引擎进行实时处理， LTE