ETL方法介绍.pptVIP

中国人民保险公司保险数据模型及业务标准化 | 保密 IBM Confidential 中国人民保险公司保险数据模型及业务标准化– 数据模型及业绩指标和风险测算分析 – ETL方法介绍 2004年4月15日 内容 ETL基本概念 ETL过程讲解 PICC ETL总体架构 PICC ETL开发方法 ETL基本概念－－主要目的 将源系统数据经过抽取／转换过程，最终装载到目标系统 将针对日常业务操作的数据转化为针对数据仓库而存储的决策支持型数据 ETL基本概念－－术语解释 ETL基本概念－－数据仓库中的位置 ETL基本概念－－数据质量 ETL基本概念－－数据质量原因 业务系统不同时期数据模型不一致 业务系统不同时期业务过程有变化 各个源系统之间相关信息不一致 遗留系统和新业务、管理系统数据集成不完备带来的不一致性 源系统缺少输入验证过程，不能阻止非法格式的数据进入系统 可以验证但不能改正数据，验证程序不能发现格式正确但内容不正确的错误 源系统不受控制的更改，而这种更改不能及时的传播到受影响的系统 数据由多个交叉的访问界面，难以统一管理数据质量问题 缺少参照完整性检查低劣的源系统设计 数据转换错误，比如ETL过程错误或数据迁移过程的错误 源系统与数据仓库系统的数据组织方式完全不同 ETL基本概念－－数据转换 ETL过程讲解－－逻辑架构 ETL过程讲解－－数据转换过程中产生的文件 ETL过程讲解－－数据转换过程中一般需要完成的操作 ETL过程讲解－－数据处理流程 ETL过程讲解－－数据对照开发流程 PICC ETL总体架构－－处理机制 中间数据存放机制 通用方式：文本文件或者数据库表 PICC：数据库表 数据装载机制 通用方式：全量装载、增量装载和全／增量混合装载 PICC：全量装载 数据装载周期 通用方式：日、周、旬、月、季、半年、年 PICC：月以上 数据映射完成机制 通用方式：程序处理、工具处理以及混合处理 PICC：程序处理 PICC ETL总体架构－－应用框架 PICC ETL总体架构－－数据抽取（Extract） PICC ETL总体架构－－数据抽取（Extract） PICC ETL总体架构－－数据转换（1）（Transform1） PICC ETL总体架构－－数据转换（1）（Transform1） PICC ETL总体架构－－数据转换（2）（Transform2） PICC ETL总体架构－－数据转换（2）（Transform2） PICC ETL总体架构－－数据装载（Load） PICC ETL总体架构－－数据装载（Load） PICC ETL开发方法－－开发流程 PICC ETL开发方法－－程序调用流程 PICC ETL开发方法－－EXF－CIF程序模板讲解 PICC ETL开发方法－－－CIF（Transform2）程序模板讲解 PICC ETL开发方法－－CIF内部转换程序模板讲解 PICC ETL开发方法－－CIF－PLF程序模板讲解 PICC ETL开发方法－－PLF Anchor Entity程序模板讲解 PICC ETL开发方法－－PLF Relationship程序模板讲解 * | * Business Consulting Services Business Consulting Services ETL Extract-Transform-Load的缩写，数据抽取（Extract）、转换（Transform）、装载（Load）的过程 DW DataWarehousing，根据Bill.Inmon的定义，“数据仓库是面向主题的、集成的、稳定的、随时间变化的，主要用于决策支持的数据库系统” MetaData 元数据，就是描述数据的数据，指在数据仓库建设过程中所产生的有关数据源定义、目标定义、转换规则等相关的关键数据 正确性(Accuracy):数据是否正确体现在现实或可证实的来源 完整性(Integrity):数据之间的参照完整性是否存在或一致 一致性(Consistency):数据是否被一致的定义或理解 完备性(Completeness):所有需要的数据是否都存在 有效性(Validity):数据是否在企业定义的可接受的范围之内 时效性(Timeliness):数据在需要的时间是否有效 可获取性(Accessbility):数据是否易于获取、易于理解和易于使用 空值处理 规范化数据格式 拆分数据 验证数据合法性 数据替换 实现数据规则过滤 数据排序 数据类型统一转换 ... ... ETL过程讲解－－ Extract 设计原则 为提高ETL效率，数据在进入ETL系统后的EXF