数据仓库ETL过程支撑框架的研究.pdfVIP

计算机科学2002V01．29N‘2．8(增刊) 数据仓库ETL过程支撑框架研究¨ ResearchOfETL ArchitectureforData System Warehouse 张卫华方幼林杨冬青唐世渭余立波付强 (北京大学计算机科学与技术系 北京100871) (北京大学视觉与听觉处理国家重点实验室 北京100871) Abstract warehousedataETL isoneofthemost andcritical Building systems important phases ofwarehouseconstruction．Therewillbevariousofprocessesincluding andvolumedatamovement．Thetraditionaltoolsofdatabasefordata can’tfulfilthe translating OfdataETL．Sowemustuse off—the-shelftoolsandcustom todoit．But request many programs itisdifficuhforUStO thetools．Inthisarticlewe adata manage provide theframeworkand ofthis can latingsystem disciplinesapproach，customers architecture．Using the toolsandcustomizedmodules canensuremaxi— managepackaged confidently．Thissystem mum and andwouldbeconfidentforthe flexibility，consistencysimplermanagement resumption of warehouseloads． interrupted ETLtools，Data architecutre Keywords warehouse，System 1 引言 2数据迁移工具存在的问题 随着企业信息化建设的发展，将会有越来越多 1)数据仓库所涉及到的数椐迁移种类繁多，形 的企业实施数据仓库工程。而在数据仓库建设过程 式复杂。传统数据库提供的数据迁移功能不足，不能 中，数据建设的成功与否直接决定着数据仓库的应 全面满足对数据抽取和转换功能的要求。 用质量。有效的数据提取、转换和加载(ETL)过程是 传统的关系型数据库管理系统支持一般的数据 数据仓库数据质量得以保证的前提。数据仓库工程 抽取、数据复制和一定程度上的数据重新组织、聚集 的主要技术难点就集中在数据的有效提取、转换和 加载这一过程中。根据DBReview的数据资料报告，存在逻辑上的不一致，需要进行额外的重新组织和 在典型的数据仓库工程中，ETL过程大约要占据数 转换加工，那么，传统数据库所提供的功能可能就力 据仓库建设和维护总体时间的70％。 不从心了。因此，只有当