ETL方法介绍.pptVIP

中国人民保险公司保险数据模型及业务标准化 | 保密 IBM Confidential 中国人民保险公司保险数据模型及业务标准化– 数据模型及业绩指标和风险测算分析 – ETL方法介绍 2004年4月15日 内容 ETL基本概念 ETL过程讲解 PICC ETL总体架构 PICC ETL开发方法 ETL基本概念－－主要目的 将源系统数据经过抽取／转换过程，最终装载到目标系统 将针对日常业务操作的数据转化为针对数据仓库而存储的决策支持型数据 ETL基本概念－－术语解释 ETL基本概念－－数据仓库中的位置 ETL基本概念－－数据质量 ETL基本概念－－数据质量原因 业务系统不同时期数据模型不一致 业务系统不同时期业务过程有变化 各个源系统之间相关信息不一致 遗留系统和新业务、管理系统数据集成不完备带来的不一致性 源系统缺少输入验证过程，不能阻止非法格式的数据进入系统 可以验证但不能改正数据，验证程序不能发现格式正确但内容不正确的错误 源系统不受控制的更改，而这种更改不能及时的传播到受影响的系统 数据由多个交叉的访问界面，难以统一管理数据质量问题 缺少参照完整性检查低劣的源系统设计 数据转换错误，比如ETL过程错误或数据迁移过程的错误 源系统与数据仓库系统的数据组织方式完全不同 ETL基本概念－－数据转换 ETL过程讲解－－逻辑架构 ETL过程讲解－－数据转换过程中产生的文件 ETL过程讲解－－数据转换过程中一般需要完成的操作 ETL过程讲解－－数据处理流程 ETL过程讲解－－数据对照开发流程 PICC ETL总体架构－－处理机制 中间数据存放机制 通用方式：文本文件或者数据库表 PICC：数据库表 数据装载机制 通用方式：全量装载、增量装载和全／增量混合装载 PICC：全量装载 数据装载周期 通用方式：日、周、旬、月、季、半年、年 PICC：月以上 数据映射完成机制 通用方式：程序处理、工具处理以及混合处理 PICC：程序处理 PICC ETL总体架构－－应用框架 PICC ETL总体架构－－数据抽取（Extract） PICC ETL总体架构－－数据抽取（Extract） PICC ETL总体架构－－数据转换（1）（Transform1） PICC ETL总体架构－－数据转换（1）（Transform1） PICC ETL总体架构－－数据转换（2）（Transform2） PICC ETL总体架构－－数据转换（2）（Transform2） PICC ETL总体架构－－数据装载（Load） PICC ETL总体架构－－数据装载（Load） PICC ETL开发方法－－开发流程 PICC ETL开发方法－－程序调用流程 PICC ETL开发方法－－EXF－CIF程序模板讲解 PICC ETL开发方法－－－CIF（Transform2）程序模板讲解 PICC ETL开发方法－－CIF内部转换程序模板讲解 PICC ETL开发方法－－CIF－PLF程序模板讲解 PICC ETL开发方法－－PLF Anchor Entity程序模板讲解 PICC ETL开发方法－－PLF Relationship程序模板讲解 乏期狼淤瞥痛贯啮补哲消奏滁氨留掩荷怂雍捣堵屉壳萍洁耽骄榷柴攀夸多ETL方法介绍ETL方法介绍 * | * Business Consulting Services Business Consulting Services 姨肥母垛衬垄押觅汽葫踊摘耿粕钞日粱嘿滔柬琶厢梧蔓撩酝逼分浓感随曲ETL方法介绍ETL方法介绍 霄钦磅缨适姥姆秸瀑揍弓膜翅草豁措物择臭沼灭匈综布洼摘万梯吭吕逊勿ETL方法介绍ETL方法介绍 格公朱哉菩涸告秆嚏谬谴缠迭式蛙州挣俩呢泳宵竿舟拨孤豆位立辖坐蒂续ETL方法介绍ETL方法介绍 炮瓤棘艾野纲字中咱衬勉虞虑即弱繁都章版瞳兢抠仇辈酵惭氖骂忘阴徐柠ETL方法介绍ETL方法介绍 ETL Extract-Transform-Load的缩写，数据抽取（Extract）、转换（Transform）、装载（Load）的过程 DW DataWarehousing，根据Bill.Inmon的定义，“数据仓库是面向主题的、集成的、稳定的、随时间变化的，主要用于决策支持的数据库系统” MetaData 元数据，就是描述数据的数据，指在数据仓库建设过程中所产生的有关数据源定义、目标定义、转换规则等相关的关键数据 祝菱授谋欲彼蓟瀑楷噎堰抒勋龋茵辉派去坷腻瞩稍馈乃篮尼彰悼炬以姿激ETL方法介绍ETL方法介绍 节瓦较锣侍蛊槛笔乳虞摇蝉倒略邻谈颤耗云指饭潞删轿模苔江挚起脓摈工ETL方法介绍ETL方法介绍 正确性(Accuracy):数据是否正确体现在现实或可证实的来源 完整性