基于多Agent与工作流的分布式ETL引擎的研究.pdfVIP

第29卷第 1期 计算机应用 Vo1．29No．1 2009年 1月 JournalofComputerApplications Jan．2009 文章编号：1001—9081(2009)01—0319—04 基于多Agent与工作流的分布式ETL引擎的研究 丁 进 ，郭朝珍 (福州大学 数学与计算机科学学院，福州 350002) (dingj073@163．com) 摘 要：针对传统ETLX-具集中式执行方式的不足 ，提 出了一种基于多Agent与工作流相结合的分布式ETL引 擎的体系结构。该体系结构由一个主控引擎和多个执行引擎组成，执行引擎可 自主地向主控 引擎注册执行服务，并 利用分布式计算和多线程并行计算技术，实现由多个执行引擎协同执行ETL工作流，从而提高整个系统的灵活性和 吞吐率。实验结果表明，该引擎具有较好的可扩展性和负载平衡性能，并提高了执行效率。 关键词：抽取一转换一加载；多Agent；工作流；分布式；协同 中图分类号：TP311；TP391 文献标志码 ：A ResearchofdistributedETL enginebasedonmulti—agentandworkflow DINGJin．GUO Chao．zhen (CollegeofMathematicsandComputerScience，FuzhouUniversity, Fufian350002，China) Abstract：AimingatthedeficiencyofcentralizedexecutionmodeoftraditionalExtraction·Transformation—Loading(ETL) tools，thispaperputforwardthearchitectureofdistributedETL enginebasedonthecombinationofmulti—agentandworkflow technique，which consistsofone main engine and many executive engines．The executiveenginescanregisterexecution servicestothemainengineindependently，andanETLWorkflow canbeexecutedcooperativelyonseveral executiveengines byusingdistributedandconcurrentcomputingtechnique，whichimprovesthesystem’Sflexibilityandthroughputrate．Finally， resultsprovethatithasbetterexpansibilityandcanachieveloadbalancingquitewellandraisetheperfomr anceefficiency． Keywords：Extraction—Transfomration-Loading(ETL)；multi—agent；workflow；distributed；cooperative 以实现其设计 目标的自治系统 。它能作用于 自身和环境， 0 引言 并能对环境做出反应。Agent具有以下特性：1)反应性，能够 ETL即数据的抽取 (Extraction)、转换 (Transformation)与 感知环境 ，并对环境的变化及时地做出反应。2)主动性，能 加载 (Loading)J。目前市场上主流的国外ETL工具有两大 够主动发动某种动作行为，以