关于层叠隐马尔可夫模型的中文命名实体识别.pdfVIP

第 27 卷第 2 期 通 信 学 报 Vol.27 No.2 2006 年 2 月 Journal on Communications February 2006 基于层叠隐马尔可夫模型的中文命名实体识别 俞鸿魁 1,2 ，张华平 1 ，刘群 1 ，吕学强 2 ，施水才 2 (1. 中国科学院 计算技术研究所，北京 100080; 2. 北京信息科技大学 中文信息处理研究中心，北京 100101) 摘 要：提出了一种基于层叠隐马尔可夫模型的中文命名实体一体化识别方法，旨在将人名识别、地名识别以及 机构名识别等命名实体识别融合到一个相对统一的理论模型中。首先在词语粗切分的结果集上采用底层隐马尔可 夫模型识别出普通无嵌套的人名、地名和机构名等，然后依次采取高层隐马尔可夫模型识别出嵌套了人名、地名 的复杂地名和机构名。在对大规模真实语料库的封闭测试中，人名、地名和机构识别的 F-1 值分别达到 92.55%、 94.53%、86.51%。采用该方法的系统 ICTCLAS 在 2003 年 5 月 SIGHAN 举办的第一届汉语分词大赛中名列前茅。 关键词：命名实体识别；角色标注；ICTCLAS 中图分类号：TP391.2 文献标识码：A 文章编号：1000-436X(2006)02-0087-08 Chinese named entity identification using cascaded hidden Markov model 1,2 1 1 2 2 YU Hong-kui , ZHANG Hua-ping , LIU Qun , LV Xue-qiang , SHI Shui-cai (1. Institute of Computing Technology, The Chinese Academy of Sciences, Beijing 100080, China; 2. Chinese Information Processing and Research Center, Beijing Information Science Technology University, Beijing 100101, China) Abstract: An approach for Chinese named entity identification using cascaded hidden Markov model, which aimed to incorporate person name, location name, organization name recognition into an integrated theoretical frame was presented. Simple named entity was recognized by lower HMM model after rough segmentation and complex named entity such as person name, location name and organization name was recognized by higher HMM model using role tagging. In the test on large realistic corpu