数据仓库模型开发流程.pptVIP

数据仓库模型开发流程 Tony 模型建设范围 模型建设方法过程定义 Step 1:数据需求分析 Step 2:模型满足度及差异分析 Step 3:源系统分析 Step 4:逻辑模型设计 Step 5:逻辑模型物理化 Step 6:模型实施 Step 7:模型验证及调优 * 数 据 源 内部集市 外部集市 最终用户 逻辑数据模型 保留详细交易数据 面向关键主题域 3NF HAIER-LDM 数据仓库 面向业务分析主题 汇总数据 Star Schema 建模 视图 面向业务应用数据模型 完整的历史明细数据 定期备份清理 不直接面向仓库支持应用 S区 B区模型层 M区汇总层 A区 ODS 现有模型满足度及差异分析 源系统分析 逻辑模型设计 逻辑模型物理化 模型实施 模型验证及调优 数据需求分析 Entry 7个过程 过程可定义 迭代开发 人员专业分工 数据架构师 业务专家 数据建模人员 模型实施人员 现有模型满足度及差异分析 源系统分析 逻辑模型设计 逻辑模型物理化 模型实施 模型验证及调优 数据需求分析 Entry 过程的入口 需求发起的方式 应用驱动 数据驱动 模型优化 现有模型满足度及差异分析 源系统分析 逻辑模型设计 逻辑模型物理化 模型实施 模型验证及调优 数据需求分析 Entry 模型满足度的分析 基于明确的需求范围定义 工作方法简化 现有模型满足度及差异分析 源系统分析 逻辑模型设计 逻辑模型物理化 模型实施 模型验证及调优 数据需求分析 Entry 源系统的业务流程理解 源系统的数据规则理解 源系统的数据质量评估 方式 源系统资料的学习 业务培训 业务专家的交流 字段级的分析 取舍的策略 定期更新源系统分析报告 现有模型满足度及差异分析 源系统分析 逻辑模型设计 逻辑模型物理化 模型实施 模型验证及调优 数据需求分析 Entry 逻辑模型的实体、属性的设计 确定实体的主键、关联关系 确定实体的加载算法 新增、修改、拉链 仓库标准代码的整理 实施方式 与数据架构师、模型专家的沟通 模型设计评审 影响性分析 模型、ETL 现有模型满足度及差异分析 源系统分析 逻辑模型设计 逻辑模型物理化 模型实施 模型验证及调优 数据需求分析 Entry 物理模型实体、属性物理命名、字段类型设计 性能上的设计考虑 现有模型满足度及差异分析 源系统分析 逻辑模型设计 逻辑模型物理化 模型实施 模型验证及调优 数据需求分析 Entry 映射文档的填写和评审 脚本自动化生成 脚本的复查 复杂脚本需要手工编写，脚本的编写及测试流程参见项目组的公共流程 现有模型满足度及差异分析 源系统分析 逻辑模型设计 逻辑模型物理化 模型实施 模型验证及调优 数据需求分析 Entry 准备工作 数据情况统计、生产运行日志的分析 模型优化的方面 一般不涉及数据需求范围的变更 7个过程定义：基于模型开发方法论，并结合仓库1、2期开发的实践经验，定义了数据组模型开发的7个过程，具有较好的可操作性，这里模型的入口是数据需求分析，之所以不是一个直线式的过程，而构成一个闭环，是考虑到模型本身是一个不断成熟完善的对象，开发模式应相应保持一种动态的过程，并且我们通常在某一应用的开发过程中，不是一次过程的实施上就能完全满足的，往往有需求上的变更、设计上的变革，从数据的角度考虑，还会有需求的整合开发，因此这个过程是需要反复的，以达到较佳的实践结果 例如：每个字段的空值率（包括数值0）、相关表字段的冗余及一致性关系、业务主键、关系表的对应关系（一对多、一对一，多对一、多对多）、字段的业务含义及有效性（是否目前使用）、字段的关联关系（外键）、字段的数据来源（业务输入、系统码表关联、外部系统）、哪些字段是会变动的（状态、金额等等）