数据中心相关技术与应用(大数据相关)39.pptVIP

数据中心相关技术与应用 2013-12-02 目录 MPP数据库在数据中心的应用 企业级数据中心定义 数据中心中的大数据 数据中心BI技术选型描述 Hadoop在数据中心的应用 数据中心ESB技术研究 大数据技术与传统数据中心的集成 传统的数据仓库的架构 数据源 抽取、转换、加载 业务数据集市 企业数据仓库 ETL 元数据 前端分析展现工具 查询工具、应用 新一代数据中心定义 企业数据中心是指建立在数据仓库与数据仓库之上的决策分析应用，应包括数据源、数据ETL、ODS数据库、数据仓库、数据集市、商务智能应用、数据管理等功能。 数据中心应该具备常见数据的处理与管理能力，具备对结构化、半结构化、非结构化等数据的处理能力，同时支持RDB、MPP、NoSQL，同时具备数据的通用管理能力，以数据为中心进行平台建设。 数据中心数据平台在接口层要丰富又简单，可以提供各种应用所需接口，最大程度匹配已有接口，对应用改动需求力求最低。 一个合理的数据平台，不能等同于Hadoop或者其他某项单一技术建设；整体数据中心的建设，从数据采集层、存储层、应用层都有完整的解决方案，同时具备平台运维管理、接口管理、数据管理功能； 数据中心数据管理能力至少应包含：1.元数据管理，2.数据质量管理，3.数据安全管理，4.数据可视化管理，5.数据生命周期管理。 数据平台必须针对数据提供完整方案，同时兼顾应用接口、其他平台接入，系统管理、系统调度等功能。 任何一种单一技术都难以适应数据中心数据采集、存储、处理和对外服务的需求，多种技术并存才是发展趋势。RDB、MPP、Hadoop 新一代数据中心功能视图 数据中心整体功能视图可以分为数据服务功能模块、平台管理功能模块，数据管理功能模块，共同数据中心的应用。 采集 处理层 数据抽取/加载/检查 ETL调度 数据交互、转换 数据映射 数据层 数据 存储 数据聚合服务 数据处理服务 数据查询服务 数据集市、OLAP 接口层 服务管理 资料类数据服务 指标类数据服务 配置类数据服务 清单累数据服务 日志类数据服务 OPEN API 数据管理功能 数据生命周期管理 数据可视化管理 数据质量管理 采集层数据质量管理 数据质量规则、知识库 数据质量稽核指标运维 数据安全管理 4A认证 隐私信息保护 权限管控、审计追踪 元数据管理 元数据获取管理 元数据存储与模型管理 元数据分析、展现、服务 技术、业务元数据管理 DW-RDB DW-MPP 分布式文件系统 非关系数据库 分布式计算 数据分发同步处理 数据服务功能 用户管理 权限管理 备份与恢复 日志管理 设备监控指标 资源池指标 数据库指标 分布式系统指标 指标汇总 存储管理 资源池管理 设备管理 作业调度管理 事件自动化 规则配置 执行引擎 性能预警 调度异常控制 北向接口管理 数据采集接口管理 数据共享配置 通用接口配置 平台管理功能 应用展示层 企业数据中心 元数据获取 采集层数据质量定义、稽核 存储库模型定义 采集数据分发 目录 MPP数据库在数据中心的应用 企业级数据中心定义 数据中心中的大数据 数据中心BI技术选型描述 Hadoop在数据中心的应用 数据中心ESB技术研究 大数据技术与传统数据中心的集成 数据中心引入大数据的意义与原则 随着半结构化、非结构化数据、互联网数据等新型数据源的引入以及分析需求对分析深度和广度的增加，以移动运营商行业为例，越来越需要大数据。主要包括如下： 1、数据规模方面：GPRS流量话单的条数和数据量已经超过了语音详单，而位置信令、Gn信令、客服语音、互联网外部数据等规模更大，且还处在不断增长的趋势。 2、数据类型方面：逐步从OLTP系统中获得的结构化数据，过渡到结构化数据和互联网网页、上网日志等非结构化数据和半结构化数据共存。 3、对数据的使用方面：不仅有批量的数据加工和前台界面的访问，临时统计、数据挖掘等访问需求也逐步增多。对历史明细数据的访问增多。对数据访问的及时性增强。 随着数据中心越来越具备大数据平台的特征，利用传统的单一数据仓库技术就难以满足高效低成本的需求，需要引入相应的大数据技术。 新技术的引入不能影响原有的使用感知，需要按照分阶段逐步引入的方式。可以参考如下的几个引入原则： 1、先增量后存量。现有的数据处理系统引入大数据处理技术，面临着模型改造、流程改造等一系列的问题，可以首先在新上线应用引入大数据处理技术。 2、先边缘后核心。对于原有功能的迁移，可以先迁移非关键的应用。这些应用不涉及到关键生产任务，可以忍受数据处理延迟和故障修复时间较高等可能出现的风险。 3、先简单后复杂。数据处理逻辑较简单的应用也可以首先尝试引入大数据处理技术，降低实施的复杂度，积累运维经验。 通过在大数据处理技术的规划、实施及运维过程中积累经验及教训，不