基于维基百科的中文命名实体识别和消歧.pptVIP

designed by - copyright 1999 基于维基百科的中文命名实体识别与消歧 于淼 2012.11.3 维基百科介绍(现场上网展示) 解释型页面 重定向页面 消除歧义页面 分类 信息框 维基百科介绍 中文页面：508,865篇条目 英文页面：4,021,627篇条目 支持282种语言，共突破2100万个条目 维基百科数据库的建立 JWPL开源工具包 11个表，包含了维基页面几乎所有的信息 数据库的访问 繁简转换 去除噪音 基于维基百科的命名实体识别 维基百科中页面的第一段是对条目的概括性描述 中国移动通信集团公司（简称“中国移动通信”或“中国移动”）是2000年4月20日成立的中国国有重要骨干企业 李宁（1963年3月10日－），壮族人，生于广西柳州，中国退役体操运动员，企业家 中国是位于亚洲东部的一个地理或国家区域，最早是泛指炎黄子孙在中原建立的国度[4]，至现代国际体系成形后才开始作为国家的通称。 基于维基百科的命名实体识别 “是”后面的核心名词反应了条目的属性 机构、企业家、区域有利于我们判断一个条目是人名、地名还是机构名 抽取维基百科页面的定义特征作为一种额外的知识加入基于CRF的命名实体识别中 抽取维基百科定义特征 1.将维基百科页面的第一段用词法分析工具进行分词并做词性标注 2.抽取第一段第一句话中定义性动词后的最后一个名词 3.若无定义性动词，则抽取第一段最后一句话最后一个名词 维基百科定义特征示例 维基百科条目 抽取的定义特征 高德纳 教授 巴斯克语 语言 幼学琼林 读物 李宁 企业家 云南省 省份 张国荣 演艺人 智冠科技 公司 倩女幽魂 电影 温家宝 总理 将维基百科特征加入CRF 利用AC算法进行正向最大匹配，若词序列是维基百科中的条目则将它的定义特征作为维基特征，若不存在于维基百科中则维基特征置为null 基于维基百科的命名实体识别 此后 t O 此后 t null O 国家 n O 国家 n null O 经贸委 j O 经贸委 j null O 主任 n O 主任 n null O 盛 nr B-PER 盛 nr 经济师 B-PER 华人 nr I-PER 华人 nr 经济师 I-PER 多次 m O 多次 m null O 在 p O 在 p null O 公开 a O 公开 a null O 场合 n O 场合 n null O 讲话 v O 讲话 v null O 基于维基百科的命名实体识别 实验 数据来源：863命名实体评测2004年 训练集：17102句 测试集：2000句 基于维基百科的命名实体识别 P R F 以词为单位 83.13 87.57 85.35 以词为单位（维基） 84.46（1.33+） 88.81（1.24+） 86.64（1.29+） 以字为单位 82.24 84.89 83.56 以字为单位（维基） 82.77（0.53+） 85.75（0.86+） 84.26（0.7+） 基于维基百科的命名实体消歧 命名实体存在歧义问题 华盛顿 华盛顿州 （地名） 华盛顿总统 （人名） 维基百科中的消歧页面 华盛顿（Washington）通常是指： 乔治.华盛顿，美国第一任总统 华盛顿哥伦比亚特区，美国首都 华盛顿州，美国西北部的州之一 基于维基百科的命名实体消歧 利用上下文信息构建双层CRF 用CRF训练维基百科语料 测试集的词序列进行正向最大匹配维基的消歧词条 计算词序列与消歧页面的文档相似度（VSM） 选出top3相似度最大的维基词条 将相似度*P（人名或地名或机构名|词条） 等9个特征加入CRF训练 基于维基百科的命名实体消歧 布隆伯格 华盛顿哥伦比亚特区 飞赴 华盛顿州 华盛顿州 华盛顿 丹泽尔.华盛顿 华盛顿哥伦比亚特区 推销 华盛顿郡 华盛顿镇 自己 华盛顿湖 的 华盛顿镇 想法 乔治.华盛顿 相似度（华盛顿州）*P（人名|华盛顿州) 相似度（华盛顿州）*P（地名|华盛顿州） 相似度（华盛顿州