阿里数据仓库模型设计.pptxVIP

数据建模介绍数据仓库构造方法支付宝业务系统简介业务特点类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等）非纯电子商务；纯金融线上子系统多而杂截止到2011年6月共有各类线上子系统259个类型多样：对C、对B、对内、对金融机构系统间依赖程度参差不齐垂直依赖（业务与核心）跨层依赖（跨过交易到账务）支付宝业务系统支付宝数据仓库架构原则底层业务的数据驱动为导向同时结合业务需求驱动便于数据分析屏蔽底层复杂业务简单、完整、集成的将数据暴露给分析层底层业务变动与上层需求变动对模型冲击最小化业务系统变化影响削弱在基础数据层（资金订单改造）结合自上而下的建设方法削弱需求变动对模型的影响数据水平层次清晰化高内聚松耦合主题之内或各个完整意义的系统内数据的高内聚主题之间或各个完整意义的系统间数据的松耦合构建仓库基础数据层 使得底层业务数据整合工作与上层应用开发工作相隔离，为仓库大规模开发奠定基础仓库层次更加清晰，对外暴露数据更加统一传统仓库架构方法需求驱动为主…支付宝交易主题现状数据仓库模型建设目标示意图仓库基础数据层建设的意义避免底层业务变动对上层需求影响过大屏蔽底层复杂的业务逻辑，尽可能简单、完整的在接口层呈现业务数据仓库数据更加丰富建设高内聚松耦合的数据组织，使得数据从业务角度可分割，有助于数据和团队的扩展。第三方支付企业支付宝数据仓库体系结构元数据管理数据质量监控数据应用KPI账单应用日志产品应用其它……报表展示自定义查询数据分析数据挖掘ETL数据应用（ST）数据仓库数据集市、宽表（DM）高粒度汇总数据（DWS）低粒度汇总加工数据（DWB）明细数据（DWD）源数据点击流数据（Click stream）数据库数据（OLTP）文档数据（Documents）其它数据（Other） 建立企业级概念数据模型(CDM) 的基本架构相关方关系业务概念框架提供了一套通用的结构，它描述了所有业务环境IBM业务概念间最初的关系提供了相关方合约位置分类产品/服务资源事件业务方向条件相关方描述相关方位置相关方类型相关方及安排间的关系安排所有业务信息都是可以用九大概念的词汇来表示每一种信息概念都可用三个分层来详细说明：分类分层（是什么）描述分层（有什么）关系分层（做什么）安排类型协议协议当事人介质条件当事人产品条件分类产品地理位置介质条件分类地理位置分类介质帐户渠道资源项条件资源项条件渠道事件条件分类事件业务方向帐户业务方向九大数据概念变迁支付宝九大数据概念IBM FSDM九大数据概念主要变化：1. 将产品中的介质以及分类中的帐户和渠道独立出来作为单独的数据概念2.条件和分类不作为单独的数据概念，分散在各个数据概念中。3.业务方向中的部分在事件数据概念中体现第三方支付企业支付宝数据模型设计基于OMG推出的数据仓库元数据管理的CWM模型(Common Warehouse Metamodel)物理模型设计 PDM设计方法参考IBM的FSDM金融行业的数据仓库通用模板参考NCR Teradata 金融服务逻辑数据模型（FS-LDM ），参考新巴塞尔资本协议（Basel II Capital Accord）需提供三到五年的数据的规范综合上述规范和要求，同时结合支付宝实际的业务，推出数据仓库5层架构体系DW五层模型架构介绍DW五层模型是按照EDW各个应用层次的需求进行分层细化而来的，每个层次满足不同的应用。分为以下5层：1. ODS数据准备层 2. DWD数据明细层3. DW(B/S) 数据汇总层4. DM数据集市层5. ST数据应用层 DW五层模型架构介绍 数据来源及建模方式服务领域数据ETL过程描述从DW层的数据进行粗粒度聚合汇总；如按年、月、季、天对一些维度进行聚合生成业务需要的事实数据前端报表展现，主题分析，KPI报表 数据来自DW层，采用维度建模，星型架构ST层从DW层的数据进行粗粒度聚合汇总；按业务需求对事实进行拉宽形成宽表数据挖掘，自定义查询，应用集市数据来自DW层，采用维度建模，星型架构DM层从DWD层进行轻度清洗，转换，汇总聚合生成DW层数据，如字符合并，EMAIL,证件号，日期，手机号转换，合并；用代理键取代维度；按各个维度进行聚合汇总数据来自DWD层，是DW事实层，采用维度建模，星型架构,这一层可细分为dwb 和dws为EDW提供各种统计汇总数据DW层根据ODS增量数据进行merge生成全量数据，不做清洗转换，保留原始全量数据数据来自ODS层，是DW明细事实层,数据模型是ODS一致为EDW提供各主题业务明细数据DWD层通过支付宝分发中心平台，把业务数据抽取落地成文本文件，再装载到数据仓库ODS层，不做清洗转换数据准备区，数据来源是各业务系统的源数据，物理模型和业务系统模型一致。为其它逻辑层提供数据，为统一数据视