数据集成方案中元数据管理系统研究.pdfVIP

摘要 在数据集成过程中，元数据为整个系统中的数据提供一张完整的数据地图。通过元数 据，我们可以了解到系统中的数据结构、数据来源、数据去向以及系统中的一些业务处理 规则等。 在现有的元数据管理工具中，往往仅仅关注数据集成过程中的一部分，如ETL过程的 元数据或数据仓库中的元数据。然而，在数据集成越来越复杂，数据越来越多的今天，如 果仅仅对这些元数据进行管理是不能够满足当前对元数据管理的需求的。囚此，我们有必 要提出一种元数据管理框架。通过该框架，我们能够了解在整个数据集成过程中涉及到的 数据源、ETL过程、数据目标的元数据，并且能够使这些元数据之间进行一定的交互。基 于这种需求，本文提出了一种覆盖整个数据集成过程的元数据管理框架。它是一个以联邦 式元数据库为基本思想，参考CWM元数据标准并结合高校数据集成中的其享数据库平台 实际情况的元数据管理框架原型。 可扩展性是元数据管理工具开发的重要需求之一。随着时间的推移，业务系统中的业 务处理规jl!lJ可能发生变化，对元数据查询的需求可能会增加。如何通过最简单的方式实现 工具对这种变化需求的满足是工具开发中的难点之一。本文提出了一种动态关键字标识的 方式来满足这种可扩展性。工具通过维护关键字和动态链接库的路径表来实现对元数据的 动态需求。动态链接库与关键字相对应用以实现关键字所描述的功能。 ETL过程是数据集成中的重要步骤之一，是一个以元数据为驱动实现数据的集成的过 程。因此如何描述、存储和管理其中的元数据极为重要。本文将从逻辑上描述一个ETL过 程，并给出一个简化的ETL元数据存储模型。 在数据集成中，我们经常需要了解数据的来龙去脉，以增加数据可信度。我们以实例 说明了本框架中如何实现一个数据谱系的追踪。 关键字：元数据，元数据管理，ETL，数据谱系，软件可扩展性 Abstract isthe adata for Indata most integration system，metadataimportant，whichprovidesmap data and inthe can thewhole metadata,the sourcesdata data．By structures，data targets system beknown． The metadata toolsoftenfocusonthe ofdata existing management part integrationprocess， suchasthemetadataofETLtoolsanddatawarehouse moreandmoredatm tools．However，with andmore a is data becomesmore we know of integration complex．Ifonly part metadata,it difficulttomeetthecurrentdemandofmetadata itis to forward management．Sonecessarybring can structureofdata ametadata makeusknowalldata managementfr