第一章第二节 数据仓库中的ETL和元数据.pptVIP

1.2.3 外部数据 四、外部数据的管理 为了有效的管理好外部数据，有经验的DSS分析员或工程师首先要弄清楚哪些是重要的数据部分？哪些是相对次要的数据部分？然后将最重要的数据存储在一个联机的、容易访问的位置，而对于不重要的细节则将其放在大容量的存储位置。这样，就能够有效地存储和管理大量的外部数据。 1.2 数据仓库中的ETL和元数据 第一章 数据仓库原理 本节总结： 本节主要讨论构建数据仓库过程中的两个重要的概念：ETL和元数据。首先，详细介绍ETL的概念、作用；ETL的工具以及如何选择合适的ETL工具。接着，介绍元数据的由来、概念、分类、管理和标准，并且给出了使用ETL和元数据的相关建议。 事实上，数据仓库不仅仅能够拥有内部的、结构化的数据，还有许多与企业运营有关的来自企业以外数据源的信息。在本章的最后一节，介绍了外部数据/非结构化数据的概念以及它们和源数据的联系。 1.2 数据仓库中的ETL和元数据 第一章 数据仓库原理 本节讨论题： 1、ETL的概念是什么？包含了几个过程？各个过程的作用是什么？ 2、目前，常用的ETL工具有哪些？在一个具体的应用中，应该如何选择ETL工具？ 3、元数据在数据仓库中的地位和作用如何？ 4、试举例说明元数据管理的困难。 5、元数据管理工具有哪些部分组成？各部分功能、作用如何？ 6、对MDC的OIM标准，OMG的CWM标准进行简介。 7、什么是外部数据、非结构化数据？它们与元数据有什么联系？ 1.2 数据仓库中的ETL和元数据 第一章 数据仓库原理 人有了知识，就会具备各种分析能力， 明辨是非的能力。 所以我们要勤恳读书，广泛阅读， 古人说“书中自有黄金屋。 ”通过阅读科技书籍，我们能丰富知识， 培养逻辑思维能力； 通过阅读文学作品，我们能提高文学鉴赏水平， 培养文学情趣； 通过阅读报刊，我们能增长见识，扩大自己的知识面。 有许多书籍还能培养我们的道德情操， 给我们巨大的精神力量， 鼓舞我们前进。 * 1.2.2 元数据 一、什么是元数据 2、元数据的分类 按照数据仓库功能区域的划分，对元数据可以分为： 1）数据获取元数据 2）数据存储元数据 3）信息传递元数据 1.2 数据仓库中的ETL和元数据 第一章 数据仓库原理 1.2.2 元数据 一、什么是元数据 2、元数据的分类 按照元数据在数据仓库中所承担的任务，可以元数据分为： 1）静态元数据 2）动态元数据 1.2 数据仓库中的ETL和元数据 第一章 数据仓库原理 1.2.2 元数据 一、什么是元数据 3、元数据的作用 RDBMS 外部数据源 数据仓库 企业数据模型、多维数据模型 即席查询 OLAP分析 数据挖掘 管理元数据 用户元数据 元数据知识库 操作环境层 数据仓库层 业务层 1.2 数据仓库中的ETL和元数据 第一章 数据仓库原理 1.2.2 元数据 一、什么是元数据 3、元数据的作用 上图中左边的部分是元数据，它起到了承上启下的作用，具体体现在： （1）元数据是进行数据集成所必须的 数据仓库最大的特点就是它的集成性。这一特点不仅体现在它所包含的数据上，还体现在实施数据仓库项目的过程中。 1.2 数据仓库中的ETL和元数据 第一章 数据仓库原理 1.2.2 元数据 一、什么是元数据 3、元数据的作用（续） 一方面，从各个数据源中抽取的数据要按照一定的模式存入数据仓库中，这些数据源与数据仓库中数据的对应关系及转换规则都要存储在元数据知识库中。 1.2 数据仓库中的ETL和元数据 第一章 数据仓库原理 1.2.2 元数据 一、什么是元数据 3、元数据的作用（续） 另一方面，在数据仓库项目实施过程中，直接建立数据仓库往往费时、费力，因此在实践当中，人们可能会按照统一的数据模型，首先建立数据集市，然后在各个数据集市的基础上再建设数据仓库。不过，当数据集市数量增多时很容易形成“蜘蛛网”现象，而元数据管理是解决“蜘蛛网”的关键 。 1.2 数据仓库中的ETL和元数据 第一章 数据仓库原理 1.2.2 元数据 一、什么是元数据 3、元数据的作用（续） 2）元数据定义的语义层可以帮助最终用户理解数据仓库中的数据。 最终用户不可能像数据仓库系统管理员或开发人员那样熟悉数据仓库技术，因此迫切需要有一个“翻译”，能够使他们清晰地理解数据仓库中数据的含义。元数据可以实现业务模型与数据模型之间的映射，因而可以把数据以用户需要的方式“翻译”出来，从而帮助最终用