基于混合遗传退火算法web信息抽取方法分析与实现-analysis and implementation of web information extraction method base on hybrid genetic annealing algorithm.docx

摘要摘要随着网络技术的迅速发展，人们越来越依赖于网络获取信息。Web作为海量信息的来源，是一个巨大的数据库，包含着各种各样有价值的信息。如何从这些web源中抽取出潜在的、有用的信息是一个非常令人关注的研究方向。Web信息抽取是使用数据挖掘技术自动地从Web文档和服务中发现和提取信息和知识的技术，是在网络信息处理过程中加速查找速度和提高查找准确率的重要手段之一。本文介绍了web信息抽取技术的基本知识，以及web信息抽取的国内外研究现状。然后说明了利用隐马尔可夫模型(HiddenMarkovModel，HMM)来进行web信息的抽取的过程。首先，本文介绍了HMM的构建和它的典型算法，然后用HMM对已标记的训练集进行论文头部特定信息的抽取。而对于未标记训练的数据集，因为HMM对初始参数的敏感，引入遗传算法(GeneticAlgorithm，GA)对其优化。由于GA容易过早收敛，本文引入另一种优化算法—模拟退火算法(SimulatedAnnealingAlgorithm，SA)与HMM结合，找出最优HMM的初始参数，给出了基于SA-HMM的web信息抽取的整体框架，然后比较GA和SA这两个优化算法的实验效果。为减少两种方法存在的问题对识别过程的影响和克服两种优化算法本身的缺陷，利用混合遗传退火算法(hybridgenetic/simulatedannealingalgorithm，HGSA)寻找HMM初始参数的全局最优解的，提高了系统的效率。通过对实验结果的分析比较，证明基于GA-HMM和SA-HMM的web信息抽取方法都非常有效。而基于HGSA-HMM的web文本信息抽取方法，因综合了两种优化算法的优点，实验效果优于前两种方法。关键词：web信息抽取，隐马尔可夫模型，遗传算法，退火算法，混合遗传退火算法AbstractABSTRACTThereisagreattendencytorelyonthenetworkinformationastheboomingdevelopmentofnetworktechnology.Theweb,asasourceofimmenseinformation,isahugedatabasewhichcontainsavarietyofvaluableinformation.It’sadistinctlyfascinatingresearchdirectiontohowtoextractpotentialbutusefulthingsfromit.Webinformationextractionisatechnologyusingdataminingthatdiscoversandextractsinformationandknowledgeautomaticallyfromthewebdocumentsandservices.Itisoneofthesignificantmethodsthatacceleratessearchingandimprovestheaccurancyofsearchinginthenetworkinformationprocess.Thisthesisintroducesthebasicknowledgeofwebinformationextractiontechnology,aswellasthecurrentstateofwebinformationextractiontechnologyathomeandabroad.ThenusingtheHiddenMarkovModeltoextractwebinformation.Intheprocess,first,thisthesistalksabouttheformulationoftheHiddenMarkovModelsanditstypicalalgorithms.Second,itmakesuseofHiddenMarkovModeltoextractthespecificinformationoftheheadlinefromthemarkedtrainingdatasets.Withregardtotheun-markedtrainingdatasets,theHiddenMarkovModelcanbeoptimizedbygeneticalgorithmbecauseoftheModel’ssensitivenesstoinitialparameters.Duetogeneticalgorithmiseasytoprematurelyconverge,sothisthesisbringinanotherkindofoptimizationalgorithm—theSimulatedAnnealingAlgo