基于语言模型验证的词义消歧语料获取-哈工大社会计算与信息检索研究.PDFVIP

第 22 卷 　第 6 期 中文信息学报 Vol . 22 , No . 6 2008 年 11 月 J OU RN AL O F C H IN ESE IN FO RMA T ION PROCESSIN G Nov . , 2008 文章编号 : (2008) 基于语言模型验证的词义消歧语料获取 郭宇航 ,车万翔 ,刘 挺 ( 哈尔滨工业大学 计算机科学与技术学院 信息检索研究室 ,黑龙江 哈尔滨 15000 1) 摘 　要 : 作为一种稀缺资源 ,人工标注语料的匮乏限制了有指导词义消歧系统的大规模应用 。有人提出了利用 目 标词的单义同义词在生语料中自动获取词义消歧语料的方法 ,然而 ,在某些上下文当中 ,用 目标词替换这些单义的 同义词并不合适 ,从而带来噪声 。为此 ,笔者使用语言模型过滤这些噪声 ,达到净化训练数据 ,提高系统性能的目 的。笔者在 Sen seval3 国际评测中文采样词词义消歧数据集上进行了实验 ,结果表明经过语言模型过滤的词义消 歧系统性能明显高于未经过滤的系统 。 关键词 : 计算机应用 ; 中文信息处理 ;词义消歧 ;语言模型 ;噪声过滤 中图分类号 : TP39 1 　　　　文献标识码 : A Word Sense Disambiguation Corpus Acquisition by Language Model Val idation GU O Yuhang ,C H E Wanxiang , L IU Ting ( Information Ret rieval L ab , School of Comp ut er Science and Technology , Harbin In stit ut e of Technology , Harbin , Heilongj iang 15000 1 , China) Abstract : The lack of handcraft ed t raining dat a i s a critical i ssue for sup ervi sed wor d sen se di sambiguation (W SD) sy st ems. The mono semou s lexical relatives sub stit ution of t ar get wor ds have been p ropo sed to acquire W SD corp u s from t he Web automatically . However , in some ca ses , t he mono semou s lexical relatives cannot be sub stit ut ed by t he t ar get wor d suit ably and t hen noi ses will be brought in . We p ropo se a language model s validation met hod to filt er t hese noi ses , which can p urify t he t raining dat a , and imp rove t he p erformance accor dingly . Our exp eriment s on Sen seval3 Chinese lexical samp le t ask show t hat t he sy st em ba sed on t he t raining dat a acquired f ro