结合共指消解的跨文档中文人名消歧研究-计算机科学与技术专业论文.docxVIP

万方数据 万方数据 Classified Index: TP391.3 U.D.C: 621.3 Dissertation for the Master Degree in Engineering THE STUDY ON CROSS-DOCUMENT CHINESE PERSON NAME DISAMBIGUATION WITH COREFERENCE RESOLUTION Candidate： Jie Liu Supervisor： Associate Prof. RuiFeng Xu Academic Degree Applied for： Master of Engineering Speciality： Computer Science and Technology Affiliation： Shenzhen Graduate School Date of Defence： December, 2013 Degree-Conferring-Institution： Harbin Institute of Technology 哈尔滨工业大学工学硕士学位论文 哈尔滨工业大学工学硕士学位论文 摘 要 随着互联网的飞速发展，如何从爆炸式增长的信息中高效地找到自己所 需信息成为信息检索研究的重要目标。其中，面向人名的检索有着非常广泛 的应用。但是在中文互联网环境中，人名重名的现象非常严重，这给面向人 名的检索带来了巨大困难。为此，人名消歧的研究近年来成为信息检索领域 的重要课题。 分析显示，人名带来的歧义性既可能来自于文档内代词导致的共指歧义， 也可能来自于多个文档之间对应于不同实际个体的重名歧义。因此，中文人 名消歧包括文档内人名共指消解和跨文档人名重名消歧。共指消解的典型方 法中，基于规则的方法可移植性比较差；而基于统计方法能够获得准确率和 召回率的平衡，但对训练数据依赖很大。在跨文档重名消歧研究中，基于人 名上下文词语特征的方法因缺乏消歧需要的知识而遇到消歧性能的瓶颈；而 利用社会网络等外部知识的方法则受到所使用外部知识的限制而很难进一步 提升消歧性能。 为此，本文进行了以下研究。第一、本文研究了通过结合人名构成规则 和人名出现的特点改善人名识别结果的方法。第二、针对文档内的共指消解 问题，设计实现了一种结合汉语语言规则和统计学习的方法，对候选名词短 语对是否存在共指关系进行判定，实现文档内共指消解。该方法在 CoNLL2012 共指消解中文数据集上达到评价指标 0.651 的成绩。第三、在应用共指消解 方法确定人名准确上下文的基础上，提出了一种结合百科知识和利用互联网 检索验证的跨文档人名消歧方法。该方法在 CIPS-SIGHAN2012 中文人名消歧 数据集上达到准确率 82.4%，召回率 83.4%的性能。 本文的贡献主要包括：第一，本文设计实现了一种有效地结合规则和统 计的共指消解方法, 该方法在 2012 年的 CoNLL 中文共指消解国际评测中获 得国际第四和国内第二的成绩；第二，本文提出的利用百科知识的方法可以 缓解实体信息不完整的问题，能够更加精确地衡量实体相似度，提高人名消 歧的准确率，而利用互联网验证的方法则缓解了知识短缺问题，提高了人名 消歧的召回率；第三、本文提出的结合共指消解的跨文档人名消歧方法能够 更好地消除人名歧义。 关键词：中文人名消歧；共指消解；百科知识；互联网验证 - I - Abstract With the rapid development of the Internet, how to obtain the needed information effectively from explosive growing information has become the goal of information retrieval study, while the person name oriented searching plays an important role. However, in Chinese Internet environment, the phenomenon of person name repetition is serious, which brings many difficulties to person name oriented searching. Therefore, the study on person name disambiguation has become an important topic in information retrieval research. The observations show that the p