第一章第二节数据仓库中的ETL和元数据要点详解.pptVIP

1.2.2 元数据 一、什么是元数据 2、元数据的分类 按照元数据在数据仓库中所承担的任务，可以元数据分为： 1）静态元数据 2）动态元数据 1.2 数据仓库中的ETL和元数据 第一章 数据仓库原理 1.2.2 元数据 一、什么是元数据 3、元数据的作用 RDBMS 外部数据源 数据仓库 企业数据模型、多维数据模型 即席查询 OLAP分析 数据挖掘 管理元数据 用户元数据 元数据知识库 操作环境层 数据仓库层 业务层 1.2 数据仓库中的ETL和元数据 第一章 数据仓库原理 1.2.2 元数据 一、什么是元数据 3、元数据的作用 上图中左边的部分是元数据，它起到了承上启下的作用，具体体现在： （1）元数据是进行数据集成所必须的 数据仓库最大的特点就是它的集成性。这一特点不仅体现在它所包含的数据上，还体现在实施数据仓库项目的过程中。 1.2 数据仓库中的ETL和元数据 第一章 数据仓库原理 1.2.2 元数据 一、什么是元数据 3、元数据的作用（续） 一方面，从各个数据源中抽取的数据要按照一定的模式存入数据仓库中，这些数据源与数据仓库中数据的对应关系及转换规则都要存储在元数据知识库中。 1.2 数据仓库中的ETL和元数据 第一章 数据仓库原理 1.2.2 元数据 一、什么是元数据 3、元数据的作用（续） 另一方面，在数据仓库项目实施过程中，直接建立数据仓库往往费时、费力，因此在实践当中，人们可能会按照统一的数据模型，首先建立数据集市，然后在各个数据集市的基础上再建设数据仓库。不过，当数据集市数量增多时很容易形成“蜘蛛网”现象，而元数据管理是解决“蜘蛛网”的关键 。 1.2 数据仓库中的ETL和元数据 第一章 数据仓库原理 1.2.2 元数据 一、什么是元数据 3、元数据的作用（续） 2）元数据定义的语义层可以帮助最终用户理解数据仓库中的数据。 最终用户不可能像数据仓库系统管理员或开发人员那样熟悉数据仓库技术，因此迫切需要有一个“翻译”，能够使他们清晰地理解数据仓库中数据的含义。元数据可以实现业务模型与数据模型之间的映射，因而可以把数据以用户需要的方式“翻译”出来，从而帮助最终用户理解和使用数据。 1.2 数据仓库中的ETL和元数据 第一章 数据仓库原理 1.2.2 元数据 一、什么是元数据 3、元数据的作用（续） （3）元数据是保证数据质量的关键。 数据仓库或数据集市建立好之后，使用者在使用的时候，常常会产生对数据的怀疑。这些怀疑往往是由于低层的数据对于用户来说是不“透明”的，使用者很自然地对结果产生怀疑。而借助元数据管理系统，最终使用者对各个数据的来龙去脉以及数据抽取和转换规则都会很方便地得到，这样他们自然会对数据具有信心。 1.2 数据仓库中的ETL和元数据 第一章 数据仓库原理 1.2.2 元数据 一、什么是元数据 3、元数据的作用（续） （4）元数据可以支持需求变化。 如何构造一个随着需求改变而平滑变化的软件系统，是软件工程领域中的一个重要问题。传统的信息系统往往是通过文档来适应需求变化，但是仅仅依靠文档是远远不够的。成功的元数据管理系统可以把整个业务的工作流、数据流和信息流有效地管理起来，使得系统不依赖特定的开发人员，从而提高系统的可扩展性。 1.2 数据仓库中的ETL和元数据 第一章 数据仓库原理 1.2.2 元数据 一、什么是元数据 4、元数据的来源 元数据存在于数据仓库过程中的每个步骤，在不同的数据仓库处理过程中都会产生一些新的元数据。这些过程包括源系统、数据抽取、数据清洗、数据转换、数据装载、数据存储、信息传递等。 1.2 数据仓库中的ETL和元数据 第一章 数据仓库原理 1.2.2 元数据 一、什么是元数据 4、元数据的来源 （1）源系统 在源系统中，元数据的内容包括对操作型数据模型、系统文件的数据元素定义、物理文件布局以及字段定义、外部数据来源的文件布局和字段定义等内容的描述。 1.2 数据仓库中的ETL和元数据 第一章 数据仓库原理 1.2.2 元数据 一、什么是元数据 4、元数据的来源 （2）数据抽取阶段 在数据抽取阶段，产生的元数据包含有所选择的数据源的布局和定义、用于抽取的字段的定义、标准化字段类型与长度的规则、数据抽取计划等内容。 1.2 数据仓库中的ETL和元数据 第一章 数据仓库原理 1.2.2 元数据 一、什么是元数据 4、元数据的来源 （3）数据清洗和转换阶段 该阶段中元数据描述文件的转