改进的XML智能数据清洗策略.pdfVIP

第35卷 第4期 计 算 机 工 程 2009年2月 、 l35 No．4 ComputerEngineering February2009 · 软件技术与数据库 · 文章编号：100-3428(20o9)04-_0o6-．o3 文献标识码：A 中圈分类号tTP311．13 改进的XML智能数据清洗策略 翟学敏 lp刘 渊 ，刘 波 ，毕蓉蓉 (1．江南大学信息工程学院数字媒体创意中心，无锡 214122；2．南京理工大学计算机学院，南京 210094； 3．中南大学信息学院，长沙 410083) 摘 要：针对XML数据的质量问题 ，以XML键为基础，借助多模板隐马尔可夫模型信息抽取策略与粒子群优化算法构建新的XML数据 清洗方法。为了提高XML相似性数据并行检测效率，利用波函数对粒子群优化算法进行优化。仿真实验表明，与其他 XML数据清洗算 法相比，该方法的白适应学习能力强、人工参与程度低、计算量小，时间性能有94％左右的提升。 关悯 ：XML文档集；XML键；粒子群优化算法；数据清洗；隐马尔可夫模型 ImprovedXML IntelligenceDataCleaningStrategy ZHAIXue．min，LIU Yuan ，LIU Bo3，BIRong-rong (1．DigitalMediaCreativeCenter，CollegeofInformationEngineering，SouthernYangtzeUniversity，Wuxi214122； 2．SchoolofComputer，NanjingUniversityofScienceTechnology，Nanjing210094； 3．CollegeofInfomr ation，CentralSouthUniversity，Changsha410083) [Abstract]AimingatthequalityofXMLdata，thispaperproposesanewXMLdatacleaningmehtodbasedonXMLkey，hteinformationof multipletemplatesHiddenMarkovModel(HMM)draw—outstrategyandParticleSwamr Optimization(PSO)．Forboostingtheparalleldetection efficiencyofhteXM Lsimilarityrecords，awavefunctionisusedtogiverelevantimprovementstoPSO．ContrastedwithotherXMLdatacleaning algorihtms，simulationexperimentsshow htattheoptimizedalgorithm haspowerfuladaptivelearningcapability，lowerlaborcost，lesscalculation andbettertimeratearound94％． [Keywords]XMLdocumentset；XMLkey；ParticleSwarmOptimization(PSO)；dataclenaing；HiddenMarkovModeI(HMM) l 概述 为 ：cond：Data~boolean；True：dataEDirt3，Data；False 由于Web上积累了大量的XML数据，形成了许多 “脏 data∈CleanData。 数据”，阻碍了商业应用，因此需要对它们进行挖掘、清洗， 定义 3数据清洗指从各种原始数据中抽取出干净数据 以保证和提高数据质量。国外信息化程度