基于混合条件模型的Web信息抽取.pdfVIP

第40卷第3期 郑州火学学报(理学版) V01．40No．3 2008年9月 Univ．(Nat．Sei。Ed。) Sep．2008 J．ofZhengzhou 基于混合条件模型的Web信息抽取 肖基毅， 朱道辉， 邹腊梅 (南华大学诗算橇辩学譬技术学院湖南衡阳421001) 摘要：针对传统Web信息抽取的隐马尔可夫模型对纫值十分敏感和在实际训练中极易得到局部最优模型参数，提 出了一种最大熵和最大熵马尔可夫模援!}相结合的条件模型．该方法对输入的Web页面进行解析并构建HTML 耩，逶遂诤葵HTML予辩维点懿蠛患位数据域，允诲滋寨墓表示臻意重叠特征(像逶、大写、}l善ML标记、语义)耀 定义状态痒羁给予观鬃垮列的条件概率实现了web信息摘取。实验结果表弱，新的方法在精确壤和召回率指标上 比传统隐码尔可夫模戮和最大熵马尔W夫模型具有照好的性能． 关键词：Web信息抽取{最大熵马尔可夫模型；条件模型；最大熵；隐马尔可夫模型 391 孛重分类鼍：TP 文章缡号：167103一OOs2一04 0 引言 近年来，基于统计模獭的机器学习方法成为Web信息抽暇新的研究热点．这类方法所利用的统计学模 Markov Model， 型主要有隐马尔可夫模型(Hidden Model，HMM)、最大熵模型(MaximumEntropy Markov MEM)、最大熵马尔可夫模型(Maximum Model，MEMM)。 Entropy 机科研论文头部信息的所有域进行抽取．HMM易于建立，不需大规模的词典集与规则綮，适应性好，抽取精 度较高，因而得到研究者的关注．但是，HMM存在的主要问题是：HMM对初值十分敏感和在实际训练中极 易餐到局部簸傀模型参数，另一个闻题是HMM没有考虑文本的上下文特征信意程文本词汇本身包含的特 征信息，而这些信息对予实现正确的Web信息抽般是菲常有用的． 此外，应用较多的还有基于MEM的Web信息抽取．文献[3]将最大熵应用于自然语言处理的模型建立 巾．MEM的准贝IJ是建立一个与观察棚一致的概率分布，丽对于除此之外的情况，模型赋予均匀的概率分布． 麓E掰将露信息抽取的过程转诧为在一定麓上下文条薛下，霹文本孛逶序粥豹所有可熊豹稼记痔弼，选择一 个具有最大概率的标记序列．MEM的一个最显著特点是其不要求具有条件独立的特征，因此，人们可以相 对任意地加入对最终信息抽取有用的特征，而不用顾及它们之间的相互影响．但MEM的一个明显缺点是出 现数据稀蔬问题，霉要进行平滑处理。 予文本信息抽取．MEMM允许将文本的上下文特征信息和文本词汇本身包含的特征信息结合到玛尔可夫 模型中来，改善了信息抽墩的性能．但它没有对具体的文本词溅进行统计，照考虑了抽象特征，所以，MEMM 麓性麓还可以进一步撵岗． Conditional 本文采用的混合条件模型(Hybrid Model，HCM)是条件概率模型，每个状态都有一个指数 模型作为下一个状态的条件概率．HCM能够在不同的粒度上使用多种页面的上下文信息、重叠性和非独立 性的特征进褥训练． 最大熵马尔可夫模型 MEM怒在训练数挺满足约素条赞的翦提下髓筐最大蘸摸登．HMM燕指一个幂霹鬣察酶骂尔露夫链 收稿日期：2008—05—25 基金项目：湖瞒省自然科学基食资助项目．编号04JJ40051；湖南有教育厅科研项目．编号06c724． 作者简介；巍摹毅(1962一．撵。副教授，主受扶事数据挖糍秘舷塞抽取研究，E*mail：xiaojiyi2002@yahoo．eom+cn。 万方数据 第3期 肖基毅等：基于混合条件模型的web信息抽取