基于排序学习的文本概念标注方法研究.pdfVIP

北京大学学报 ( 自然科学版) Acta Scientiarum Naturalium Universitatis Pekinensis 基于排序学习的文本概念标注方法研究 涂新辉1,2,† 何婷婷1,2 李芳1,2 王建文1,2 1. 华中师范大学计算机学院 , 武汉 430079; 2. 国家语言资源监测与研究中心网络媒体 语言分中心 , 武汉 430079; † E-mai: tuxinhui@ 摘要 提出一种基于排序学习的方法来实现文档的维基百科概念自动标注。首先人工对一定规模的文档进行 概念标注, 建立训练集合 , 然后利用排序学习算法在多项特征上得到对概念排序的模型, 利用这个概念的排 序模型对任意文档进行概念标注。实验表明, 相对于传统的文档概念标注方法, 此方法在各类指标上都有相 当大的提高, 标注结果更加接近人类的概念标注。 关键词 概念标注 ; 排序学习 ; 维基百科; 显示语义分析 中图分类号 TP391 Learning to Annotate Text Using Wikipedia Concepts TU Xinhui1,2,†, HE Tingting1,2, LI Fang1,2, WANG Jianwen1,2 1. School of Computer Science, Huazhong Normal University, Wuhan 430079; 2. Network Media Branch, National Language Resources Monitoring and Research Center, Wuhan 430079; † E-mail: tuxinhui@ Abstract This paper proposed an automatic text annotation method based on learning to ranking model. Firstly the authors built a training set of concept annotation manualy, and then used the Ranking SVM algorithm to generate concept ranking model, finally the concept ranking model was used to generate concept annotation for any texts. Experiments show that proposed method has a significant improvement in various indicators compared to traditional annotation methods, and concept annotation results is closer to human annotation. Key words concept annotation; learning to ranking; Wikipedia; explicit semantic analysis 人类理解自然语言的过程是一个语义概念的联 类 : 基于关键词匹配和基于内容匹配。前者主要通 想和关联的过程 , 这种功能是由人类大脑中几百亿 过文本中出现的词语或词组来标示出概念 ; 而后者 个神经元构成的复杂生理组织所提供的。建立基于 则通过文档和概念的相关度来进行概念的标注。