基于中文维基百科的命名实体消歧方法.pdfVIP

第32卷第6期 杭 州 电子科 技 大 学 学 报 Vo1．32，No．6 2012年 12月 Journal of Hangzhou Dianzi University Dec．2O12 doi：10．3969／j．issn．1001-9146．2012．06-015 基于中文维基百科的命名实体消歧方法 杜婧君，陆 蓓，谌志群 (杭州电子科技大学计算机学院。浙江 杭州310018) 摘要：该文提出一种面向中文命名实体的统计消歧方法。该方法采用中文维基百科作为世界知 识，同时以待消歧命名实体在维基百科中的消歧页包含的词义选项为候选的命名实体概念，在充 分利用维基百科页面信息和链接信息，以及命名实体上下文信息的基础上，实现中文命名实体的 消歧。在一个小规模测试集上进行了实验，并获得 87．5％的准确率，表明提出的方法具有可行性 和有效性。 关键词：命名实体消歧；词义消歧；中文维基百科；中文信息处理 中图分类号：TP391 文献标识码：A 文章编号：1001—9146(2012)06—0057—04 0 引 言 命名实体的歧义指的是一个命名实体指称项可对应到多个命名实体概念 J。维基百科作为 目前 世界上最大的、使用最广泛的在线百科全书，目前已成为语言信息处理的重要资源 J。Bunescu和Pas— ca首次利用英文维基百科的页面信息，建立文本一维基页面的余弦相似度模型来实现英文命名实体消 歧 J。SilviuCucerzan通过比较已知实体的类别与维基百科中类别标签，并结合上下文词语特征，构建 了一个大规模的命名实体识别与消歧系统 J。Nguyen和Cao针对训练语料缺乏的问题，构建机器学习 模型自动获取标注语料，并对语料增加维基特征实现命名实体消歧 J。但是，以上研究均是以英文语 料为背景，本文借鉴以上研究成果，面向汉语文本命名实体消歧展开研究，通过抽取中文维基百科的页 面信息和链接结构，利用传统向量空间模型，从维基百科与文本中提取不同的特征，并进行组合来实现 中文命名实体消歧。实验结果证明了本文方法的可行性和有效性。 1 中文命名实体消歧方法 对于一个待消歧命名实体m，其消歧任务可以定义为一个5元组 M=D，C，T，S，f，其中D= {d，d，…，d}是包含歧义实体m的文本集，对于每一文本 d；，实体m可多次出现，本文假设在同一个 文本中m对应的实体概念相同。C={C，c：，…，c}是m的候选词义集合，T={t，t2，…，t，}是D中所有 需要消歧的命名实体m的集合，S={S，S：，…，S}是每个候选词义的维基特征向量集合，映射f：T×s_÷ C是消歧方法，是消歧任务的关键组成部分，通过计算t的文本特征与每个候选词义维基特征的相似度 来判断t；的词义。消歧流程如图1所示。 1．1 文本特征 对包含待消歧实体的文本集进行文本特征的抽取时，首先，对文本集中的文本进行分词处理。分词 收稿 日期：2012—09—25 基金项目：国家 自然科学基金资助项 目，教育部人文社会科学研究基金资助项 目(12YJCZH201) 作者简介：杜婧君(1988一)，女，浙江湖州人，在读研究生，命名实体消歧． 58 杭 州 电 子 科 技 大 学 学 报 2012正 后，将每一篇文本的所有词条放入一个 “词袋”。接着对词袋进行预处理。(1)对词袋中的所有词条进 行过滤，只提取出名词以备消歧所用。(2)查找词袋中的词条是否存在维基百科重定向页面，若有，重 定向链接所指向的真正页面的标题替换该词条，若无，则不变。(3)去除词袋中包含数字或年代的词 条。当完成对词袋的预处理之后，构建一个表示文本特征的特征向量，其中包括： 分词 确定候选词义 I．——— 待消歧宴体 文本 ●_ _ _ __ _ ●_ - _ _ 一 集 烹 预处理 提取候