数据仓库模型建设目标示意图.pptVIP

数据模型设计 数据模型设计 数据模型设计 数据模型设计 数据模型设计 * DW模型架构第四层介绍-DM层 功能 这一层可以是一些宽表，是根据DW层数据按照各种维度或多种维度组合把需要查询的一些事实字段进行汇总统计并作为单独的列进行存储 满足一些特定查询、数据挖掘应用 应用集市数据存储 建模方式及原则 尽量减少数据访问时计算，优化检索 维度建模，星形模型 事实拉宽，度量预先计算 分表存储 * DW模型架构第四层介绍-DM层 * DW模型架构第五层介绍-ST层 功能 ST层面向用户应用和分析需求，包括前端报表、分析图表、KPI、仪表盘、OLAP、专题等分析，面向最终结果用户 适合作OLAP、报表模型，如ROLAP，MOLAP 根据DW层经过聚合汇总统计后的粗粒度事实表 建模方式及原则 保持数据量小 维度建模，星形模型 各种维度代理键+度量 增加数据业务日期字段，支持数据重跑 不分表存储 * DW模型架构第五层介绍-ST层 * 细化DW建模 对DW中各个主题业务建模进行了细分，每个层次具有不同的功能。 保留了最细粒度数据 满足了不同维度，不同事实的信息 满足数据重新生成 不同层次的数据支持数据重新生成 无需备份恢复 解决了由不同故障带来的数据质量问题 消除了重新初始化数据的烦恼 减少应用对DW的压力 以业务应用驱动为向导建模，通过ST、DM层提供数据 避免直接操作基础事实表 降低数据获取时间 快速适应需求变更 适应维度变化 明细基础数据层稳定，适应前端应用层业务需求变更 所有前端应用层模型之间不存在依赖，需求变更对DW整个模型影响范围小 能适应短周期内上线下线需求 DW五层模型架构特点 * 数据仓库建设规范 表命名规范 程序命名规范 开发模板 通用SQL文档 * 数据仓库建设规范 表命名规范 表名命名格式说明 [层次]_[主题] [_表内容]_[分表规则] T表命名格式说明 T_[层次]_[主题] [_表内容] 临时表名命名格式说明 [tmp]_所属程序名_[自定义序号1..10] [temp]_[操作者缩写]_YYYYMMDD_[表内容] 视图命名格式说明 V_[表名] DWB层视图仍以DWB_开头，为了兼容日后业务变动 * 数据仓库建设规范 表命名解释 层次 ODS, DWD, DWB,DWS, DM,ST 如ODS_TRD_TRADE_BASE_YYYYMMDD, DWD_TRD_TRADE_BASE_YYYYMMDD； 表内容 表名视图名总长度不超过64个字符 ODS层和DWD层：[层次]_[主题]_[业务系统表名字]_[分表规则] DWB(含)以上层次表名字：[层次]_[主题]_[有意义的缩写]_[分表规则] 尽量详尽说明表的具体内容 分表规则 日表YYYYMMDD 月表YYYYMM 日汇总DS,月汇总MS,日累计DT,月累计MT * 数据仓库建设规范 程序命名规范 程序命名 [目标表名(去除分表规则部分)]_[程序类型].tcl 程序名称一律小写 解释 目标表名(去除分表规则部分) 目标表名为程序生成数据的表名，如数据ODS_TRD_TRADE_BASE_YYYYMMDD- DWD_TRD_TRADE_BASE_YYYYMMDD，那么程序命名成dwd_trd_trade_base_dd.tcl 知识回顾Knowledge Review 知识回顾Knowledge Review 数据模型设计 数据模型设计 数据模型设计 数据模型设计 数据模型设计 数据模型设计 数据模型设计 数据模型设计 数据模型设计 数据模型设计 数据模型设计 数据模型设计 数据模型设计 数据模型设计 数据模型设计 数据模型设计 数据模型设计 数据模型设计 数据模型设计 数据模型设计 数据建模介绍 * 支付宝业务系统简介 业务特点 类金融交易：充值、提现、账务管理 类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等） 非纯电子商务；纯金融 线上子系统多而杂 截止到2011年6月共有各类线上子系统259个 类型多样：对C、对B、对内、对金融机构 系统间依赖程度参差不齐 垂直依赖（业务与核心） 跨层依赖（跨过交易到账务） * 支付宝数据仓库架构原则 底层业务的数据驱动为导向同时结合业务需求驱动 便于数据分析 屏蔽底层复杂业务 简单、完整、集成的将数据暴露给分析层 底层业务变动与上层需求变动对模型冲击最小化 业务系统变化影响削弱在基础数据层（资金订单改造） 结合自上而下的建设方法削弱需求变动对模型的影响 数据水平层次清晰化 高内聚松耦合 主题之内或各个完整意