基于DTS组件的数据仓库的数据抽取工具的设计与实现.pdfVIP

V01．20，No．3，2004 研究与设计 微型电脑应用 MicrocomputerApplications 基于DTS组件的数据仓库的数据 抽取工具的设计与实现 武彦峰 朱仲英 摘 要 DTS组件是SQI．Server提供的实现数据抽取 和转换的工具．本文介绍了数据抽取的概念以及它对数据仓 同．也可以是不同数据模型的数据库之间的异构。面对如此复 库的重要意义，并在分析()I。Fr)B和DTS组件结构的基础上杂的环境，必须彻底了解每一个数据源．这样有助于核定数据 实现了一个连接多种数据源的数据抽取工具，并且给出了工 源，确保数据高质量。 具的系统结构、转换规则的定义和部分实现代码。 2．数据的清洁转换与集成 关键词 数据抽取 T丌’S组件oLIjDB技术 数据抽取过程主要包括清洁、转换、集成等过程。其中清 洁是指去除那些在给定范围之外或不符合数据创库要求的数 一、数据抽取 据的操作。主要用来检查字段或字段组的实际内容．从而保证 数据的合法性有效性。转换是将操作数据转换成另一种格式 数据抽取是指从操作型数据源中获取数据，经过清洁、变 以更加适用于数据仓库计算。常见的数据转换有简单变换．日 换、优化、集成后，加载到数据仓库的过程：数据抽取过程应能 期、时问格式的转换，由代码到名称的转换以及字段(值)拆分 将分散的有关某·主题的数据按主题进行合理的组织，运用 和字段(值)合并等。在大多数据情况下，转换是利用各种函数 数据处理方法．去除无用数据，消除表达方式的不一致，形成 将数据汇总。以使它更有意义。集成是将业务数据从一个或几 完整一致的描述。 个来源中取出，并逐字段地将数据映到数据仓库的新数据结 数据抽取是建立数据仓库系统的最重要环节之一，在一 构上。在数据集成时，主要考虑集成模式、冗余和数据值冲突 个数据仓库项目中．约8()≯，、的工作量都花费在此。它在整个数 的检测与处理等问题。 据仓库系统中的位置处于源文件和数据仓库之间．是建立整 3．转换规则： 亍、数据仓库系统中最、力复杂的过程。对于数据仓库来说，数据 在数据抽取过程中，需要考虑以下因数：rr数据源管理程 抽报主要有以下几方面的帮助：(1)可以减少数据的录入和输 序渲数据提取和转换性能70目标数据仓库的理新频率和有效 出时问。(2)减少基于数据仓库的r)SS的计算时间。t3)将抽取 性。要注意一般抽取和动态抽取的I爰别。动态抽取提供了一套 过程与数据处理过程结合．可以方便的实现变换、分类、压缩 完整的数据流并定期发生，这要求数据转换是准确无误的． 和分析，提高DsS处理能力。(1)不需要对源数据做大的结构 和程序E的修改。数据抽取的简要逻辑关系如图l： 二、基于()I．EDB的DTS组件 ：] l数据库卜一一 DSS： oI。E 1．．．．．．．．．．．．．．．．．．．。一 源数 数据 !(] I数据l Amess)的标准。不仅支持对关系型数据库的访问，而且可以 【数据库卜据库 仓库