第三章 数据仓库中的ETL 和元数据.pdf

1 第三章数据仓库中的ETL和元数据 基本概念 2  ETL （Extract/Transform/Loading）是数据从 业务系统抽取转化到数据仓库的过程业务系统抽取转化到数据仓库的过程  Metadata可以理解成Data about data，关于 数据的数据；数据仓库的整合性是基于元数 据的统一 第三章第三章数据仓库中的数据仓库中的ETLETL和元数据和元数据 3  ETL  元数据  外部数据 第三章数据仓库中的ETL和元数据 需求需求//建模建模 ETLETL开发开发 前端开发前端开发 数据仓库项目三部曲 数据仓库项目的三部曲 4 ETLETL作用作用 5  需求 企业管理者希望按需访问 存储各种格式的企业内部和企业外部数据： 经营数据、历史数据、现行数据、Internet数据、元数 据  矛盾 数据来源不同 大量、分散、不清洁 数据的分析、挖掘活动必须建立在一个数据清洁、 结构良好的数据仓库基础之上 ETLETL作用作用 6  解决数解决数据分散问题  解决数据不清洁问题解决数据不清洁问题  方便企业各部门构筑数据集市方便企业各部门构筑数据集市 ETLETL 7  ETL的概念念  关键名词关键名词  过程描述  实现办法实现办法  ETL的工具 ETLETL的概念的概念 8  数据ETL是用来实现异构数据源的数据集成，即 完成数据的抓取/抽取（Capture/Extract ）、清 洗（ Scrub or data cleansing ）、转换 （Transform ）、装载与索引（Load and Index） 等数据调和工作 ETLETL的的关键名词关键名词 9  数据抽数据抽取：  只提取系统分析必需的那一部分数据  数据清洗数据清洗  将错误的、不一致的数据在进入数据仓库之前予以更正或删除， 以免影响决策支持系统决策的正确性以免影响决策支持系统决策的正确性  数据转化  业务系统使用不同数据库上的产品业务系统使用不同数据库上的产品，各种产品提供的数据类型不各种产品提供的数据类型不 同，数据格式不同  数据装载  将数据按照物理数据模型定义的表结构装入数据仓库，这些步骤 包括清空数据域、填充空格、有效性检查等 数据的数据的ETLETL过程描述过程描述 10 抽取/抓取 加载与索引加载与索引 转换 清洗 集结地 ((SStagiing AArea)) 拒绝数据的信息 操作型操作型