数据仓库集成框架MI-DAWA的设计与实现.docx

PAGE 1 PAGE 1 数据仓库集成框架MI-DAWA的设计与实现  在对数据仓库集成技术研究的基础上，结合一些有代表性的商用高端数据仓库产品，设计了一个基于数据仓库的集成框架MI-DAWA，并且实现了MI-DAWA对元数据管理工具、ETL工具、OLAPSERVER等商用高端数据仓库产品的集成，能有效提高数据仓库建设的效率，非专业人员也可快速实现一个数据仓库过程。MI-DAWA已经在本地某行业数据仓库及辅助决策系统中投入了实际应用，最终安现业务分析人员驱动的，程序化的数据仓库过程是MI-DAWA正待解决的问题。  0引言  数据仓库过程包括对原始业务数据的分析加工、对数据分析需求的整理、数据仓库的构建、数据的迁移和存储、数据的查询和分析以及由于对数据新的应用方式可能带来的新的数据仓库过程的开始，涉及数据仓库的整个生命周期。在数据仓库中，由于访问效率等因素的约束，多维数据分析模型的组织难以摆脱业务模型的束缚，这使得业务模式发生变化后，业务数据进入数据仓库的整合过程需要被重新设计，针对新的业务模型，还需要进行新的多维数据分析模型的构造，同时针对新的多维数据分析模型进行前端分析呈现功能的设计也不可避免。根据传统的数据仓库建设方法，上述工作一方面需要耗费大量时间，另一方面还要求必需有具备数据仓库过程专业学问和技能的工程技术人员的投入。这为加速数据仓库过程带来了困难。  解决这一问题的思路，就是基于元数据构造元-元模型及元模型叫，并利用MDA叫J技术实现元模型与业务模型之间的映射，使数据仓库过程在较少人工干预的状况下利用程序得以自动完成。实现元模型与业务模型之间的映射，也可以降低数据仓库过程对数据仓库学问和技能的依靠程度。就当前应用现状而言，实现上述目标还存在不少的技术困难，首先需要解决的一个问题，是实现数据仓库过程元数据的统一管理。  通过研究CWM(commonwarehousemetamodel)标准及其实现、MDA相关学问和技术，并结合SOA的思想，设计和开发了一个“数据仓库集成框架”MI-DAWA(metadata-basedintegratedframeworkfordatawarehouse)，并结合若干主流的数据仓库工具平台，通过集成开发，给出了MI-DAWA的设计和实现方法。  1数据仓库集成框架MI-DAWA的设计  1.1MI-DAWA的设计思路  数据仓库过程周期长、专业性强的特点给数据仓库应用的开展带来了很大的困扰，其中有两个闯题比较突出，一个直接的影响是项目投资大，一个间接的影响是应用效果不明显。要解决上述问题，有3方面首先需要得到改善：①缓解数据仓库专业技术队伍缺乏的矛盾；②加快数据仓库过程；③增加业务分析模型的适应能力。这3个方面既是MI-DAWA设计的动身点，也是MI-DAWA第一阶段要达成的目标。  1.2MI-DAWA的总体框架  在MI-DAWA的设计过程中遵循了业务无关性、开放性和渐进性原则。MI-DAWA在总体框架上可以分为4个主要层次，自顶向下分别是数据分析呈现层、数据仓库过程设计层、数据仓库过程实现层、元数据管理层，每个层次包括模型层、实现层、平台层。图1为MI-DAWA的总体框架。  图1MI-DAWA的总体框架图  1.3MI-DAWA的主要功能和特性  MI-DAWA以数据仓库工程领域各环节所需的专业平台与工具为主要功能构件，通过有效的元数据管理与交换机制，开发以元数据驱动的接口构件或服务，整合各主要功能构件协同工作。MI-DAWA的分析、设计和开发是一个渐进的、逐步完善的迭代过程，它以整合数据仓库过程基本功能为目标，即能够供应数据整合(ETL、数据仓库及数据集市的构建、OLAP模型的建立、OLAP模型的分析与呈现等功能。  此外，MI-DAWA还具备以下几个功能和特性：  ·元数据定义、描述、维护和应用的能力；  ·业务指标定义、描述、维护和应用的能力；  ·通用数据整合模型的构造能力；  ·通用多维立方体的构造能力；  ·通用多维立方体的分析呈现功能。   在对数据仓库集成技术研究的基础上，结合一些有代表性的商用高端数据仓库产品，设计了一个基于数据仓库的集成框架MI-DAWA，并且实现了MI-DAWA对元数据管理工具、ETL工具、OLAPSERVER等商用高端数据仓库产品的集成，能有效提高数据仓库建设的效率，非专业人员也可快速实现一个数据仓库过程。MI-DAWA已经在本地某行业数据仓库及辅助决策系统中投入了实际应用，最终安现业务分析人员驱动的，程序化的数据仓库过程是MI-DAWA正待解决的问题。