融合粒子群算法改进XML数据智能清洗策略.pdfVIP

维普资讯 第3卷第 3期 智 能 系 统 学 报 2008年6月 CAAITransactionsonIntelligentSystems 融合粒子群算法改进 XML数据智能清洗策略 刘 波 ，杨路 明 ，邓云龙 (I．中南大学 信息学院，湖南 长沙 410083；2．中南大学 湘雅附三医院，湖南 长沙 410013) 摘 要：针对XML数据质量问题，以XML键为基础、借助多模板隐马尔可夫模型信息抽取策略与粒子群算法构建新 的XML数据清洗方法 ；为了提高XML相似性数据并行检测效率 ，尝试利用波函数对粒子群算法进行相应优化．对比 其他XML数据清洗算法 ，一系列仿真实验表明改进的XML数据清洗方法不仅 自适应学习功能强、人工参与程度低、 计算量小，而且时间性能有94％左右提升． 关键词：XML键；粒子群算法；数据清洗；隐马尔可夫模型 中图分类号：TP311。13 文献标识码 ：A 文章编号2008)03-0226-08 An intelligencedatacleaningstrategyforXM L databaseusingPSO LIU Bo ，YANG Lu—ming ，DENG Yun．1ong (1．CollegeofInformationScienceandEngineering，Central—southUniversity，Changsha410083，China；2．The3rdXiangyaHospi． tal，Central—southUniversity，Changsha410013，China) Abstract：To improveXML dataquality，thispaperproposesanew XML data cleaningmethodbasedon XML— keys，theinformationdraw—outstrategyofmultipletemplates，thehiddenMarkovmodel(HMM)，andparticle swa／TBoptimization(PSO)．ToimproveparallelefficiencywhendetectingsimilarXMLrecords，awavefunctionis employedtoimprove thePSO algorithm．A seriesofsimulationsindicated that，comparedwith otherXML data cleaningalgorithms，theimprovedXMLdatacleaningalgorithm hasamorepowerfuladaptivelearningcapability， requireslesshumaninteraction，andreducescomputationaltimebyabout94％． Keywords：XML key；particleswarm optimization；datacleaning；hiddenMarkovmodel 目前 Web上已经积累了大量的XML数据，这 检测方法 和陈伟提出的XML相似重复数据的清 些参差不齐的数据形成了许多 “脏数据”，它们会阻 理方法 等；3)数据清洗框架，如陆凤霞提出的开 碍商业应用，因此需要对它们进行挖掘、清洗，这是 放式数据清理框架 ，王桐提出的基于改进粒子群 提高数据质量的关键。由于国外信息化程度较高，对 优化的结构聚类方法 ，RichiNayak根据语义和上 数据清洗的需求较为迫切，因此当前的研究大多集 下文相似性对 XML文档进行分级、智能聚类等操 中在国外[I-2]；随着国内信息化的快速发展，对数据 作 ；4)数据分析工具，如Riera—Ledesma与 Salaz