语境计算在词语歧义消解中应用.pdfVIP

语境计算在词语歧义消解中的应用 中文摘要 本文回顾了国内外自动分词和词性标注技术的发展过程、面临的困难和已取 得的进展。介绍了国内外语料库语言学发展的概况，以及在理论和方法上对语言 研究的许多相关领域产生的影响。接着，详细地分析了自动分词和词性标注中两 个重要的课题～一分词消歧和兼类词歧义消解，对已有的研究成果进行了评述。 本课题以语料库为手段研究分词消歧和兼类词歧义消解的方法，在语境可计 算的稳定性假设、特殊性假设和可计算性假设的基础上，对基于相对词频语境计 算模型的算法和过程进行了改进，并完成该模型的训练、消歧自动处理和相关辅 助功能的软件开发。 词库信息采用数据库存放方式，方便管理且数据重用性高。利用6年的《人 民日报》语料(共l亿3756万余词次，34万5千余词型)，完成了语境计算模型 的训练和消歧实验，并将实验结果与中科院计算所的分词和词性标注软件 一一ICTCLAS系统进行了比较。 结果表明，组合型切分歧义消解的精确率比ICTCLAS系统有了进一步提高， 封闭测试精确率在99％以上，开放测试的精确率为87．84％。交集型切分真歧义的 消解不但精确率普遍在94％以上，而且平均错误率也比ICTCLAS系统低25％以上。 兼类词消歧的封闭测试精确率为95．25％，开放测试精确率为95．21％，该结果比 ICTCLAS系统的精确率提高了23．95％。根据语法制约关系优化消歧过程后，开放 测试针对搭配有规律性的词语精确率可达到97．9％，比ICTCLAS系统高26．6％。 【关键词】语料库语言模型相对词频分词消歧兼类词消歧 【论文类型】应用研究 语境计算在词语歧义消解中的应用 Abstract Inthis the reviews ofautomaticword and PaDer,we development segmentation word domesticand are in there di伍cultiesthese tagging overseas．AI血ough many havebeenmade researchers．Wealso reviewsthe works，progress bymany shortly of researchandits onvarious relatedareas developmentcorpus greatimpact language ofresearch．boththeoreticaland weintroducesindetailthe methodological．Then and situationofword and developmentpresent segmentationdisambiguation word intheworkofautomatic multi—categoriesdisarnbiguation—twoimportanttopics word andword segmentation tagging． ofthe is findthebetterof