基于状态空间搜索的ETL执行优化.pdf

第28卷第10期 计算机工程与设计 2007年5月 No．10 and 2007 V01．28 ComputerEngineeringDesign May 基于状态空间搜索的ETL执行优化 吴远红L2， 徐宏炳1 (1．东南大学计算机科学与工程系，江苏南京210096；2．浙江海洋学院信息学院，浙江舟山316004) 摘要：数据抽取．转换．重载(ETL)是构建和维护数据仓库的基本构件，由于它处理的是海量数据，如何加快响应时间成为 值得研究的问题。对ETL过程的逻辑优化进行了研究，把优化问题建模成状态空间搜索问题。把每个ETL工作流看作一种 状态，通过一系列正确的状态变换来构造状态空间，并且提出算法来获得最小执行时间的ETL工作流。 关键词：数据抽取；转换；重载；工作流：优化 中图法分类号：TP311文献标识码：A 文章编号：1000．7024(2007)10．2262．03 ofETL state search execution Optimization by space WU Yuan-hon91”，XUHong-bin91 Scienceand (1．DepartmentofComputerEngineering，SoutheastUniversity,Nanjing210096，China； of Ocean 316004，China) 2．CollegeInformation，ZhejiangUniversity,Zhoushan atool fordata and ofdatawarehouse．Howto Abstract：Extraction—transformation—loading(ETL)isresponsibleloadingmaintaining shortentheexecutiontimeisa thevolumeofdatatobe is efficiently bigchallenge，because processedverylarge．Thelogicaloptimization ofETL is itasa search ETLworkflowisconsideredasastateandfabricatethe processesstudied，modelingstate—spaceproblem．Each minimizationoftheexecutioncostofan state asetofcorrectstate are forthe spacethrough transitions．Moreover’algorithmsprovided ETLworkflow． Key 通过减少处理过程的数量或改变过程的执行顺序来减少ETL 0引 言 工作流的执行代价，获得最优ETL执行过程。 数据仓库作为一种数据密集型应用，由两部分构成：静态 1问题的提出 部分和动态部分，静态部分是指数据仓库的体系架构和实例 数据，动态部