数据中心建设方案(简版).pdfVIP

技术建议书 企业数据中心系统平台 技术方案建议书 第1页 共31页 技术建议书 i 技术建议书 第1章 总体建设方案 1.1总体建设思路 图、数据中心构建思路图 按照对数据中心的理解，完整的数据中心应该具备IT 基础设施(主机、存储、网络）、 企业级ETL平台、数据存储中心、数据共享服务、应用层、统一门户、数据管控平台。 1.2功能框架 图、功能框架 系统功能框架分为企业级ETL 平台、存储与计算中心、服务层、应用层、统一门户、 统一平台管控。 企业级ETL平台： 负责企业数据中心数据采集、加工、汇总、分发的过程，完成企业级数据标准化、集中 化，实现数据脉络化、关系化，实现统一的数据处理加工，包括：非实时数据处理和实时数 据处理，提供数据抽取、数据转换、数据加载、数据汇总、数据分发、数据挖掘等能力. 存储与计算中心: 建立统一的数据中心数据模型，以及统一的数据存储与计算，具体提供关系数据库、分 布式非关系数据库、分布式文件、分布式计算，实现统一的数据存储与计算。 数据共享服务： 通过数据服务标准化开放访问，帮助企业IT建设中，应用和数据分离，引入更多的应 用开发商,促进应用的百花齐放和应用的专业性；基于标准化接口,实现对标签、客户视图、 指标等数据查询 API 封装，实现与周边系统实时互动，体现数据价值，减少数据冗余，保 证数据安全,保证数据的一致性。 应用层: 应用层的应用使用服务层提供的各种数据服务。本期应用层包括：经分应用、流量运营、 ESOP应用、VGOP应用、指标库、流量运营战略地图、掌上分析、自助业务分析、区域洞 察、渠道运营、自助分析、客户标签库、实时营销、LTE互联网管控策略. 第2页共31页 技术建议书 统一门户： 提供统一域名分配、负载均衡、鉴权管理、统一管控平台接入、应用注册、应用发布、 应用访问数据信息等功能，同时提供数据中心被应用访问的频次，被应用访问的数据范围， 提供数据资产的评估，为应用上下线和数据开放提供依据。 统一平台管控： 面向开发人员、运维人员实现数据、应用、资源的统一管控，包括:数据资产管控、开 发管理、监控管理、调度管理、系统管理、安全管理。 1.3技术架构 图、技术架构 系统技术架构分为数据采集、计算存储服务、数据共享服务、平台管控。采用Hadoop 云技术，可以满足计算能力线性扩展、多租户能力、数据汇总能力;批处理场景采取Hadoop 的Map/Reduce、Hive或者Spark来完成;流式数据处理，采用Esper计算引擎实现。 数据采集： 采用 Flume 计算框架,实现文件和消息采集与解析；采用流式爬虫、中文分词、图片识 别技术,实现互联网网页信息实时采集；采用 FTP 文件方式实现对数据文件的采集；采用 Socket消息方式实现对消息数据的采集；采用sqoop方式实现将数据库数据装载到HDFS文 件系统。 计算存储服务： 采用Hadoop 中HDFS文件系统提供统一的大数据数据存储，满足全量数据留存；基于 Yarn提供跨平台的资源管理，满足资源的统一调度与管理；采用Hadoop 实现非实时ETL, 实现海量数据的批处理，主要处理ODS层—DWD层—〉DW层-〉ST层的数据处理;视业 务数据情况部分DW层—〉ST层的数据处理采用Spark计算框架实现；采用Esper和rabbitmq 支撑流数据处理与复杂事件处理；利旧DB2提 ST层数据的存