构建新一代企业大数据平台资料.pptVIP

建立在PAAS平台上的新 一代数据平台解决方案 Agenda 企业新一代数据平台的技术需求 创新的技术平台建设思路 面向大数据的分析 Now What? So What? What? 大数据分析 企业内、外部的结构化和非结构化数据 数据量在TB级以上 以数据挖掘、预测和实时分析为主，强调对业务驱动 传统BI 分析 企业内部的结构化数据， 数据量在GB~TB级 以报表、查询和分析为主，反应当前业务现状 更丰富、更细致的客户管理 大数据分析在企业的应用 更准确、更及时的营销管理 更高效、更全面的风险管理 Customer 360o Single View Key Life Events Next Best Action Stress Test Credit Assessments 通用银行业大数据分析平台 管理分析类应用 数据交换平台 应用集市数据区 企业内外部半结构化、非结构化数据 数据传输 数据稽核 数据处理 流程调度 监控告警 …… 非结构化数据区 沙盘演练数据区 用户评价信息 移动互联信息 …… 历史归档数据区 HDS 客户主题 协议主题 产品主题 事件 沙盘演练应用 实时分析应用 POS增量 财务增量 库存增量 采购增量 ……增量 临时数据区 实时数据区 核心数据 总账数据 国结数据 ……数据 主题数据区 社交媒体信息 网银数据 … … 客户管理 财务管理 风险管理 ……管理 客户管理 财务管理 风险管理 ……管理 运营管理 决策人员 管理人员 数据科学家 业务人员 客户汇总 账户汇总 机构汇总 产品汇总 … … 企业大数据平台数据内容及实现技术 Page 7 应用平台提交请求访问的数据，包括结构化和非结构化两类 在线存储周期超过数据生命周期规划的数据 适合Hadoop分布式架构管理 无法用二维表结构来逻辑表达的无结构性的数据。例如文本、音频数据等。 方便用数据库的二维表结构来逻辑表达实现的数据，数据结构字段含义确定，清晰。例如：客户信息、用电记录等。是挖掘数据价值的主要对象。 支持分析型应用，时效性较低 支持前台交易系统查询需求，具有可靠性高、并发度大、采集频率短的特点 按数据格式类别划分 按数据格式类别划分 按数据采集频度划分 大数据 平台 在线数据 归档数据 非结构化数据 结构化数据 准实时数据 非实时数据 面向贴源数据查询和主题数据整合。 数据区，适合X86MPP数据库集群 范式化模型数据 面向分析类应用。 对应ADW和CM数据区，适合MPP数据库集群 维度模型数据 按数据模型划分 Page 8 企业大数据平台架构原则平台 8 技术-跨平台数据交换 批量和实时数据采用不同的技术手段和工具，遵循统一的文件接口标准 技术-平台内数据复制 跨同构/异构数据库（物理系统），基于文本、数据库的数据抽取和加载，数据的形式不发生变化，不涉及数据转换。 数据复制后产生的数据副本主要是为了便于数据引用，需要制定数据副本的生命周期管理策略以及保证数据副本的只读属性。 数据-数据即服务 业务人员通过逻辑数据对象组件访问数据，而不用关心数据的物理存储方式。通过全行指标口径和维度、度量信息，使业务人员可以较容易、较快地定位和了解数据的内容。 数据-数据质量控制 通过一系列的技术和业务手段实现数据集成平台数据质量控制，主要体现在数据正确性（技术）、完整性、一致性（业务）、有效性。 Page 9 企业大数据平台架构原则平 9 数据-历史数据分级存储和访问 近线数据存储形式保持源表源结构，主要以数据库形式存储，支持在线数据查询、访问和应用支持，响应时间秒级。归档数据以廉价大容量磁盘方式存储，存储形式会根据数据环境和未来应用的差异，采用不同于源结构的存储形式。同时，归档数据需要创建“被动索引”并具备恢复到主题数据区或者汇总数据区的能力。 数据-非结构化数据管理 对于交易和处理过程中形态尚不稳定的非结构化数据，可由各平台根据时效性、一致性控制和完整性控制等要求考虑自行处理 安全-数据访问安全 对于普通的查询访问应用，应该具备屏蔽敏感信息的展现的能力。面向行内用户的数据访问，应按照数据的属主进行访问隔离。 运维-系统日常运行性能管理 在数据量不断增加、访问用户数量的增长、用户数据使用成熟度的变化、数据ETL持续滚动开发等场景的不断变化下，需要围绕日常性能管理，不断调整系统设计和运行策略。 建设新一代数据平台的驱动力 完整的大规模数据的快速捕获流程 多种类型数据的存储 数据的实时共享与交换 海量剧增数据的支撑能力 传统数据仓库技术和新技术的结合 Hadoop技术的合理运用与性能 Agenda 企业新一代数据平台的技术需求 创新的技术平台建设思路 CONSUMER GRADE 先行者: 服务于海量客户的互联网巨头企业 Mainfr