总公司KPI项目ETL认知培训参考.pptVIP

a、数据的时间差异性问题　　在抽取旧有数据时，要将不同时期的数据定义统一，较早的数据不够完整或不符合新系统的数据规范，一般可以根据规则，在存入中转区的过程中予以更新或补充。b、数据的平台多样性问题　　在抽取旧有数据时，大部分数据都可采用表复制方式直接导入数据中转区集中，再做处理，但有部分数据可能需要转换成文本文件或使用第三方工具如Informatica等装载入数据中转区。这部分数据主要是与数据中转区数据库平台不一致的数据库数据，或非存储于数据库内的文本、excel等数据。c 、数据的不稳定性问题　　对于重要信息的完整历史变更记录，在抽取时可以根据各时期的历史信息，在抽取需要信息等基本属性的旧有数据时，要与相应时段的信息关联得到真实的历史属性。d 、数据的依赖性问题　　旧有业务系统的数据关联一般已有约束保证，代码表和参照表等数据也比较准确，但仍有少量数据不完整，对这部分数据，需根据地税的需求采取清洗策略，保证数据仓库各事实表和维表之间的关联完整有效。　　数据仓库各事实表和维表的初始装载顺序有先后关系，要有一个集中的数据装载任务顺序方案，确保初始数据装载的准确。这可以通过操作系统或第三方工具的任务调度机制来保证。 a、业务描述统一，对数据模型的不同版本融合、映射为唯一版本。包括：　　1、在业务逻辑没有变化的前提下，旧的业务数据映射在新模型上。　　2、 遗留系统的人事信息、考核相关信息与业务系统、行政其他模块要一致。b、信息描述规范、完整。　　1、不存在格式违规　数据类型不存在潜在错误。　　2 、参照完整性未被破坏　数据不会找不到参照。　　3 、不存在交叉系统匹配违规，数据被很好集成　相同的数据存在于多个系统中，数据之间要匹配。　　4 、数据在内部一致　同样的纪录字段在同一个表中重复出现，不能有差别。  数据完整性问题大量的空值字段的出现原OLTP系统中对很多字段没有做非空限制1.? ?? ?交由OLTP系统重新录入, 补齐2.? ?? ?在数据仓库对应的维表中建立一个新的字段, 将这些空值字段的值统一的赋值超出字典表范围填写这些值的时候是直接让用户填写而非下拉框选择1. 交由OLTP系统重新录入, 补齐2. 在数据仓库对应的维表中建立一个新的字段, 将这些空值字段的值统一的赋值数据一致性问题一个特定的字段在不同的表中内容不同录入, 同步的问题1. 选取最可靠的表中的字段为确定值应该成为主键的值不唯一原OLTP系统中未建立有效的主键关系1. 消除错误, 重复的主键 1、刷新频率：实时刷新、每数小时、每日、每周、每月、不定期手动刷新。2、刷新方式：数据库表复制、文本文件ftp再装载、物化视图、数据库trigger。3、数据加工方式：简单插入更新、增加计算项字段、多表关联更新、汇总、多表关联汇总计算。 1.构建基于Oracle的数据仓库，OWB是否必须选用。如果不选用OWB，对Express、Discoverer等是否有影响；基本上这取决于你是否使用Oracle OLAP Server。OWB和Oracle数据库的结合的确很紧密，但是所有功能最终还是以PL/SQL代码的形式运行，换句话说，如果你够高杆，自己写SQL一样可以搞定，只是不好管理代码而已。 2.建议你不要手工做ETL。ETL工具与其说是帮你生成ETL代码，还不如说帮你管理ETL代码用处更大。当年××银行用Sybase做DW(98年)，光SQL脚本就有近2000个，当时没有用ETL工具，最后哪个SQL脚本是干吗的都搞不清楚了。 目前，数据仓库一词尚没有一个统一的定义，著名的数据仓库专家W.H.Inmon在其著作《Building the Data Warehouse》一书中给予如下描述：数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。对于数据仓库的概念我们可以从两个层次予以理解，首先，数据仓库用于支持决策，面向分析型数据处理，它不同于企业现有的操作型数据库；其次，数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据，而且存放在数据仓库中的数据一般 不再修改。????根据数据仓库概念的含义，数据仓库拥有以下四个特点：?????1、面向主题。操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织。主题是一 个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关