推出数据仓库5层架构体系.PPT

仓库基础数据层建设的意义 避免底层业务变动对上层需求影响过大 屏蔽底层复杂的业务逻辑，尽可能简单、完整的在接口层呈现业务数据 仓库数据更加丰富 建设高内聚松耦合的数据组织，使得数据从业务角度可分割，有助于数据和团队的扩展。 第三方支付企业支付宝数据仓库体系结构 点击流数据 （Click stream） 数据库数据（OLTP） 文档数据（Documents） 其它数据（Other） 源数据 明细数据（DWD） 数据仓库 E T L 报表展示 自定义查询 数据分析 数据应用 数据挖掘 元数据管理 数据质量监控 KPI 账单应用 日志产品应用 高粒度汇总数据（DWS） 其它…… 数据集市、宽表（DM） 数据应用（ST） 低粒度汇总加工数据（DWB） 建立企业级概念数据模型(CDM) 的基本架构 相关方 安排 位置 相关方关系 相关方及安排间的关系 相关方 描述 相关方类型 业务概念框架提供了一套通用的结构，它描述了所有业务环境 IBM业务概念间最初的关系提供了 相关方 合约 位置 分类 产品/服务 资源 事件 业务方向 条件 安排类型 所有业务信息都是可以用九大概念的词汇来表示 每一种信息概念都可用三个分层来详细说明： 分类分层（是什么） 描述分层（有什么） 关系分层（做什么） 九大数据概念变迁 IBM FSDM九大数据概念 支付宝九大数据概念 当事人 地理位置 协议 资源项 事件 产品 分类 条件 业务方向 介质 介质 帐户 渠道 主要变化： 1. 将产品中的介质以及分类中的帐户和渠道独立出来作为单独的数据概念 2.条件和分类不作为单独的数据概念，分散在各个数据概念中。 3.业务方向中的部分在事件数据概念中体现 当事人 地理位置 协议 资源项 事件 产品 介质 渠道 帐户 条件 条件 分类 条件 分类 条件 条件 分类 业务方向 第三方支付企业支付宝数据模型设计 基于OMG推出的数据仓库元数据管理的CWM模型(Common Warehouse Metamodel) 物理模型设计 PDM设计方法 参考IBM的FSDM金融行业的数据仓库通用模板 参考NCR Teradata 金融服务逻辑数据模型（FS-LDM ）， 参考新巴塞尔资本协议（Basel II Capital Accord）需提供三到五年的数据的规范 综合上述规范和要求，同时结合支付宝实际的业务， 推出数据仓库5层架构体系 DW五层模型是按照EDW各个应用层次的需求进行分层细化而来的，每个层次满足不同的应用。 分为以下5层： 1. ODS 数据准备层 2. DWD 数据明细层 3. DW(B/S) 数据汇总层 4. DM 数据集市层 5. ST 数据应用层 DW五层模型架构介绍 DW五层模型架构介绍 ODS层 ST层 DM层 DW层 DWD层 数据来源及建模方式 服务领域 数据准备区，数据来源是各业务系统的源数据，物理模型和业务系统模型一致。 数据来自ODS层，是DW明细事实层,数据模型是ODS一致 数据来自DWD层，是DW事实层，采用维度建模，星型架构,这一层可细分为dwb 和dws 数据来自DW层，采用维度建模，星型架构 数据来自DW层，采用维度建模，星型架构 为其它逻辑层提供数据，为统一数据视图子系统提供数据实时查询 为EDW提供各主题业务明细数据 为EDW提供各种统计汇总数据 数据挖掘，自定义查询，应用集市 前端报表展现，主题分析，KPI报表 数据ETL过程描述 通过支付宝分发中心平台，把业务数据抽取落地成文本文件，再装载到数据仓库ODS层，不做清洗转换 根据ODS增量数据进行merge生成全量数据，不做清洗转换，保留原始全量数据 从DWD层进行轻度清洗，转换，汇总聚合生成DW层数据，如字符合并，EMAIL,证件号，日期，手机号转换，合并；用代理键取代维度；按各个维度进行聚合汇总 从DW层的数据进行粗粒度聚合汇总；按业务需求对事实进行拉宽形成宽表 从DW层的数据进行粗粒度聚合汇总；如按年、月、季、天对一些维度进行聚合生成业务需要的事实数据 DW模型架构第一层介绍-ODS层 功能 ODS层是数据仓库准备区 为DWD层提供基础原始数据 减少对业务系统影响 建模方式及原则 数据保留时间根据实现业务需求而定 可以分表进行周期存储，存储周期不长 数据不做清洗转换和业务系统一样 按主题逻辑划分 数据模型和粒度和业务系统数据模型保留一致（3NF） 从业务系统以增量方式抽取加载到ODS DW模型架构第二层介绍-DWD层 功能 为DW层提供来源明细数据 提供业务系统细节数据的长期沉淀 为未来分析类需求的扩展提供