ETL的主要步调.doc

ETL的主要步骤 ETL的主要步骤 ETL的主要步骤 　ETL(Extract Transform Loading, 数据抽取转化装载规则)是负责完成是数据源数据向数据仓库数据的转化的过程。是实施数据仓库中最重要的步骤。可以形象的说，ETL的角色相当于砖石修葺成房子的过程。在数据仓库系统设计中最难的部分是用户需求分析和模型设计，那么工作量最大的就是ETL规则的设计和实施了，它要占到整个数据仓库设计工作量的60%-70%，甚至更多。 　　下面是本人对ETL的几个重要步骤理解，和大家分享！ 一、ODS区的数据采集：　　最主要作用为了尽量减少对业务系统的影响。表结构可以不必和DW一致。根据具体业务需求和数据量情况，将数据源的数据放入ODS有各种不同的方法，比如Oracle的数据库链路，表复制，SQL*LOADER，Teradata的Fastload，Sysbase的BCP等等。 　　需要解决的问题包括： a、数据的时间差异性问题 　　在抽取旧有数据时，要将不同时期的数据定义统一，较早的数据不够完整或不符合新系统的数据规范，一般可以根据规则，在存入中转区的过程中予以更新或补充。 b、数据的平台多样性问题 　　在抽取旧有数据时，大部分数据都可采用表复制方式直接导入数据中转区集中，再做处理，但有部分数据可能需要转换成文本文件或使用第三方工具如Informatica等装载入数据中转区。这部分数据主要是与数据中转区数据库平台不一致的数据库数据，或非存储于数据库内的文本、excel等数据。 c 、数据的不稳定性问题 　　对于重要信息的完整历史变更记录，在抽取时可以根据各时期的历史信息，在抽取需要信息等基本属性的旧有数据时，要与相应时段的信息关联得到真实的历史属性。 d 、数据的依赖性问题 　　旧有业务系统的数据关联一般已有约束保证，代码表和参照表等数据也比较准确，但仍有少量数据不完整，对这部分数据，需根据地税的需求采取清洗策略，保证数据仓库各事实表和维表之间的关联完整有效。 　　数据仓库各事实表和维表的初始装载顺序有先后关系，要有一个集中的数据装载任务顺序方案，确保初始数据装载的准确。这可以通过操作系统或第三方工具的任务调度机制来保证。 二、数据转换、清洗： 　　将ODS中的数据，按照数据仓库中数据存储结构进行合理的转换，转换步骤一般还要包含数据清洗的过程。数据清洗主要是针对源数据库中出现二义性、重复、不完整、违反业务或逻辑规则等问题的数据数据进行统一的处理，一般包括如：NULL值处理，日期格式转换，数据类型转换等等。在清洗之前需要进行数据质量分析，以找出存在问题的数据，否则数据清洗将无从谈起。数据装载是通过装载工具或自行编写的SQL程序将抽取、转换后的结果数据加载到目标数据库中。 　　数据质量问题具体表现在以下几个方面： a、正确性（Accuracy）：数据是否正确的表示了现实或可证实的来源? b、完整性（Integrity）：数据之间的参照完整性是否存在或一致? c、一致性（Consistency）：数据是否被一致的定义或理解? d、完备性（Completeness）：所有需要的数据都存在吗? e、有效性（Validity）：数据是否在企业定义的可接受的范围之内? f、时效性（Timeliness）：数据在需要的时侯是有效的吗? g、可获取性（Accessibility）：数据是否易于获取、易于理解和易于使用? 　　以下综合说明数据仓库中数据质量要求，包括格式、完整性要求。 a、业务描述统一，对数据模型的不同版本融合、映射为唯一版本。包括： 　　1、在业务逻辑没有变化的前提下，旧的业务数据映射在新模型上。 　　2、 遗留系统的人事信息、考核相关信息与业务系统、行政其他模块要一致。 b、信息描述规范、完整。 　　1、不存在格式违规 　数据类型不存在潜在错误。 　　2 、参照完整性未被破坏 　数据不会找不到参照。 　　3 、不存在交叉系统匹配违规，数据被很好集成 　相同的数据存在于多个系统中，数据之间要匹配。 　　4 、数据在内部一致 　同样的纪录字段在同一个表中重复出现，不能有差别。 　　以下是对主要数据质量问题的清洗策略： 主要问题 表现形式 产生原因 清洗策略 数据完整性问题 大量的空值字段的出现 原OLTP系统中对很多字段没有做非空限制 1. 交由OLTP系统重新录入, 补齐 2. 在数据仓库对应的维表中建立一个新的字段, 将这些空值字段的值统一的赋值 超出字典表范围 填写这些值的时候是直接让用户填写而非下拉框选择 1. 交由OLTP系统重新录入, 补齐 2. 在数据仓库对应的维表中建立一个新的字段, 将这些空值字段的值统一的赋值 数据一致性问题 一个特定的字段在不同的表中内容不同 录入, 同步的问题 1. 选取最可靠的表中的字段