SSIS 系列 - 数据仓库中实现 Slowly Changing Dimension 缓慢渐变维度的三种方式.docVIP

本篇文章总结了实现缓慢渐变维度的几种方式，并且分析了 Changing Attribute 和 Historical Attribute 输出的逻辑过程。 测试表以及测试数据，其中 Customer 是数据源表，DimCustomer 模拟的是数据仓库中的 Customer 维度表。 每个示例都是从空表开始，第一次运行的时候 Dimension 表没有数据，第二次运行之前将添加几条数据到 Customer 数据源表中，并同时修改若干数据。但是要注意这个示例对数据源数据的加载是全部加载，而不考虑基于数据源数据的增量加载，关于增量加载的实现会放在 BI 系列的其它文章中讲解。 USE BIWORK_SSIS GO IF OBJECT_ID(Customer) IS NOT NULL DROP TABLE Customer GO IF OBJECT_ID(DimCustomer) IS NOT NULL DROP TABLE DimCustomer GO CREATE TABLE Customer ( ID INT PRIMARY KEY IDENTITY(1,1), FullName NVARCHAR(50), City NVARCHAR(50), Occupation NVARCHAR(50) ) CREATE TABLE DimCustomer ( CustomerID INT PRIMARY KEY IDENTITY(1,1), CustomerAlternateKey INT, FullName NVARCHAR(50), City NVARCHAR(50), Occupation NVARCHAR(50), StartDate DATETIME, EndDate DATETIME, IsCurrent BIT DEFAULT(1) ) INSERT INTO BIWORK_SSIS.dbo.Customer VALUES (BIWORK,Beijing,IT), (ZhangSan,Shanghai,Education), (Lisi,Guangzhou,Student) 示例一? SSIS 中的 Slowly Changing Dimension 新建一个 Package 并拖放一个 Data Flow，在 Data Flow 中建立好与 Customer 表的数据源连接，新建 Slowly Changing Dimension SCD_DimCustomer。? 双击 SCD_DimCustomer 编辑相关的属性。Input Columns 来源于上游数据源即 Customer 表，Dimension Columns?描述 DimCustomer 表信息。Key Type - Business Key 表示 Customer.ID 与 DimCustomer.CustomerAlternateKey 关联，后面的数据更新或者插入就跟这个 Business Key 相关。其主要逻辑是以 Customer.ID?对比 DimCustomer.CustomerAlternateKey ，如果关联不到则表示 Customer 中有新数据则将新数据插入到 DimCustomer 中。如果关联到则检查哪些字段是不需要更新 SCD Type 0，哪些字段的数据是需要更新的 SCD Type 1，哪些字段的数据需要重新添加一条数据以保留历史信息 SCD Type 2。 下一步设计 DimCustomer 表中几个属性字段。City - 历史数据，如果 City 发生更改则添加一条新的数据而保留此历史信息 - Type 2。FullName - 固定的值，此字段的数据在数据仓库中不发生更改 - Type 0。Occupation - 可更改的值，如果 Occupation 发生更改则只修改它而不保留历史信息 - Type 1。? ?在这里暂时不设置 - 如果检测到 Customer 中 FullName 发生更改就报错。 对于 Type 2 Historical Attribute 的设计是使用有效时间段来表示的，具体的理论概念请参看?数据仓库系列 - 缓慢渐变维度 (Slowly Changing Dimension) 常见的三种类型及原型设计?其中有详细的讲解。第一个选择是使用标志字段来表示这个记录是否到期或者是当前使用的，在我们现在的这个例子中可以先设计为有效期，后面可以修改让两种方式都存在。? 推断成员的设置，暂时这里不设置推断成员。推断成员一般发生在维度表的数据载入落后于Fact事实表的数据载入，