汇总数据仓库基础.pptVIP

模型设计方法：维度建模 Ralph Kimball 先生作为数据仓库体系结构的最早实践者，在数据仓库的建设方面做了大量的工作，其业务维度生命周期方法指引了世界范围内众多数据仓 库项目的实施。 业务维度生命周期方法的突出贡献是采用了一致的维度与事实的概念来构建数据仓库总线结构。 特点： 是一种需求驱动方法； 以维度建模为基础； 实施周期短，见效快； 实施风险较低 维度模型可理解性 让所有事项尽可能简单，但是又不能简单得过了头 模型要保留“源”有信息，有价值与元价值信息都要保留； 反规范化维度层次结构设计是维度建模提高查询性能保障； 每个维都是一个等效的事实表入口点； BI展现工具多维立方体是维度建模完善体现； 维度模型扩展易用性； 数据仓库 数据源 业务 收付 外部 ETL 一致的维度下的 数据集市 保费分析 客户留存 渠道分析 产品分析 维度模型VS规范化模型 . 规范化模型 描述业务的逻辑关系 消除冗余，解决数据的一致性问题 模型灵活、稳定 如果数据源没有企业数据模型控制，ETL抽取很难 维度模型 易于理解 因为冗余，性能好易于访问 多维模型在满足用户需求方面是非常高效的，但是灵活性不好 整合层 通用语义层 集市层 数据模型的评估 . 数据 模型 集成性 管理性 性能 扩展性 可用性 完整性 支持BI应用 扩展 支持数据源扩展 支持模型自身扩展 快速扩展 支持各类BI应用 涵盖保险业务各环节 参考主流行业模数据型 安全管理 支持数据的维护 数据生命周期管理 易于理解 设计合理 优化BI应用性能 优化ETL性能 结构集成 内容集成 主题集成 扩展集成 集成可操作 增量策略 模型管理 制定标准和规范 维度建模相关概念 . 维度基本概念：以日期维度为例 . 日期 标识 日期 年 半年 季度 月 日 星期 周描述 旬描述 年天数 假期 农历年 农历月 ……2015年1月1日 2015年 上半年 1季度 1月 1日 星期四 第1周 上旬 1 元旦 腊月 十一2015年1月2日 2015年 上半年 1季度 1月 2日 星期五 第1周 上旬 2 工作日 腊月 十二2015年1月3日 2015年 上半年 1季度 1月 3日 星期六 第1周 上旬 3 周末 腊月 十三2015年1月4日 2015年 上半年 1季度 1月 4日 星期日 第2周 上旬 4 周末 腊月 十四 …… …… …… …… …… …… …… …… …… …… …… …… …… …… 维度属性 代理键 成员 层次关系 维度特点 观察的角度 包含丰富的维度属性，即很多列，且带有描述性质 维度属性用于查询约束条件、报表标签、分组汇总 丰富的维度属性带来丰富的分析能力 “维度表是进入事实表的入口” 理论上不必有代码，如果用户很熟悉代码则可加 通用性：日期、机构、险种、渠道、…… . 缓慢变化维（SCD） Slowly Changing Dimensions 背景 在现实世界中，维度的属性并不是静态的，它会随着时间的流失发生变化。这种随时间发生变化的维度我们一般称之为缓慢变化维，并且把处理维度表的历史变化信息的问题称为处理缓慢变化维的问题。 处理缓慢变化维的方式 TYPE 1：第一种方式是直接覆盖原值。这样处理，最容易实现，但是没有保留历史数据，无法分析历史变化信息。 TYPE 2：第二种方式是添加维度行。这样处理，需要代理键的支持。实现方式是当有维度属性发生变化时，生成一条新的维度记录，主键是新分配的代理键，通过自然键可以和原维度记录保持关联。 TYPE 3：第三种方式是添加属性列。这种处理的实现方式是对于需要分析历史信息的属性添加一列，来记录该属性变化前的值，而本属性字段使用TYPE 1来直接覆盖。这种方式的优点是可以同时分析当前及前一次变化的属性值，缺点是只保留了最后一次变化信息。 示例：SCD 维度 展业机构 业务键 展业机构代码（AgentGroup） 代理键 展业机构ID（AgentGroupID) 类型2 Branchattr Branchtype Branchtype2 逻辑 当上述3个维度属性的值发生变化时，增加一条记录 代理键 可以保证源系统的变化不会对BI系统产生影响 可以允许BI系统整合多个源系统中的数据 可以允许在维度表中加入不存在的行 提供了一种跟踪维度属性随时间变化的方法 使用整型的代理键在关系库、多维库中是高效的方法，提高系统查询和处理性能，减少了事实表本身的大小 代价：ETL的性能耗费 根据成员个数选择smallint、int、bigint . 退化维度、杂项维度 退化维度 维度除了主键以外没有其他维度属性。 没有维度表 如订单号