探讨数据仓库元数据的集成与转换.docVIP

探讨数据仓库元数据的集成与转换 　　(电子工程学院,安徽 合肥 230022) 　　摘要:该文基于对数据仓库系统本身的架构和数据模型特征研究,并结合元数据仓储架构的理论设计提出一种数据仓库元数据集成与转换功能的架构,并进行了系统实现,涉及到数据结构的分析、集成与转换的流程以及列冲突差异的实现。 　　关键词:元数据;集成与转换;数据仓库 　　中图分类号:TP311文献标识码:A 文章编号:1009-3044(2009)28-7862-02 　　The Discussion of Integration and Conversion based on Data Warehouse Metadata 　　HE Chuan 　　(Electronic Engineering Institute, Hefei 230022, China ) 　　Abstract: The paper introduces the structure and characteristics of data models based on the data warehouse system, and provides the design of a data warehouse meta-data integration and conversion of the architecture in combination with the theory of meta-data warehouse architecture, involving the analysis of the data structure, integration and conversion processes, as well as differences in the realization of the column of conflict. 　　Key words: Metadata;Integration and Conversion; Data Warehouse 　　数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享。在企业数据集成领域中,已经有了成熟的框架可以利用。但在实施数据共享的过程当中,由于数据源的异构性、分布性、自治性引起的数据内容、数据格式和数据质量千差万别,有时甚至会遇到数据格式不能转换或转换格式后丢失信息等棘手问题,严重阻碍了数据在各部门和各软件系统中的流动与共享。因此,如何对数据进行有效的集成管理是构建数据集成系统的核心问题。 　　元数据是描述数据的数据,或者说是与数据有关的信息,是数字信息组织和处理的基本工具,是理解数据含义和如何使用数据的关键。所以,每一个软件产品和工具能够在数据层进行有效集成的前提是,它在元数据层就必须被有效集成。所以对数据仓库元数据集成和转换的研究是非常有意义的。 　　1 元数据集成与转换的设计 　　1.1 元数据的信息供应链 　　本文所设计的元数据集成与转换功能,是基于数据仓库的,该功能用来提取数据仓库中各部分产生的元数据,并应用某种策略对其进行综合管理。通过这些元数据,相关人员可以清楚地了解数据仓库中的数据结构、业务规则等,从而对决策支持产生巨大的战略价值。换句话说,元数据集成与转换管理工具的起点就是数据仓库的构建过程和业务使用过程。而数据仓库中信息流动的和处理过程常常用信息供应链(ISC,Information Supply Chain)来描述。 　　从数据源开始,信息经过多次处理,最终用于辅助决策支持。在整个流动过程中,顺序产生了四种数据,即源系统中的业务数据、ODS数据、DDS数据,以及OLAP数据,这几种数据的在粒度、抽象级别以及面向的应用等方面均存在不同[1]。为保证ISC的顺畅流动,并使参与此过程的软件产品都能够有效工作并基于数据层进行交互操作,就必须对描述各软件产品的元数据有一致理解。这是因为元数据定义了它们的内部处理逻辑和存储结构,通过元数据可以制定处理数据的策略。综上所述,构成ISC的每一个仓储产品和工具能够在数据层上进行有效集成的前提是,它们能在元数据层面进行有效的集成。 　　1.2 集成和转换的体系结构 　　本文以联邦式管理模式为基础提出元数据集成和转换功能的架构,主要分为元数据源、局部元数据仓储、全局元数据仓储、适配器、元数据抽取、元数据转换、元数据汇集等部分,如图1所示。 　　在上述架构中,所有元数据均来源于组成ISC信息供应链的软件产品。对于存储业务数据、ODS数据、DDS数据、OLAP数据的仓储软件产品,可以经过元数据抽取操作从中获得诸如存储结构等信息的元数据,存入各自的局部元数据仓储中;对于诸如ETL工具、报