基于角色标注的中文机构名识别-中科院计算所自然语言处理研究组.DOC

基于角色标注的中文机构名识别? ?本文得到国家重点基础研究项目(G1998030507-4；G1998030510)和计算所领域前沿青年基金项23资助 作者俞鸿魁，男，1978年生，北京化工大学计算机系研究生，中科院计算所客座学生，主要研究方向为计算机语言学。张华平,男，1978年生, 博士研究生，主要研究方向为计算语言学，中文信息处理与信息抽取。刘群，男，1966年生，在职博士研究生，副研究员，主要研究方向为机器翻译，自然语言处理与中文信息处理。 俞鸿魁1,2 张华平1 刘群1,3 1 中国科学院计算技术研究所软件研究室 北京 100080 2 北京化工大学信息科学与技术学院 北京 100029 3 北京大学信息学院计算机系计算语言所 北京 100871 E-mail： HYPERLINK mailto:yhk@public3.bta.net.cn yhk@public3.bta.net.cn 摘要：中文机构名自动识别是命名实体识别的重点和难点，目前各种解决方案的实际效果还难以满足人们的实际需求。本文提出了一种基于角色标注的中文机构名自动识别方法，其基本思想是：根据在机构名识别中的作用，采取Viterbi算法对切分结果进行角色标注，在角色序列的基础上，进行字符串识别，最终实现中文机构名的识别。识别过程中我们只需要某个词作为特点角色的概率以及角色之间的转移概率。该方法的实用性还在于：这些角色信息完全可以从真实语料库中自动抽取得到。通过对大规模真实语料库的封闭测试中，该方法取得了接近90%的召回率和准确率，即使在开放测试中，准确率也高达88%。不同实验从各个角色表明：基于角色标注的机构名识别算法是行之有效的。 关键词：中文机构名识别；未登录词识别；角色标注；Viterbi算法 Recognition of Chinese Organization Name Based on Role Tagging YU Hong-Kui1,2 ZHANG Hua-Ping1 LIU Qun1,3 1 Institute of Computing Technology, The Chinese Academy of Sciences, Beijing, 100080 China 2 Information science technology college, Beijing University of Chemical Technology, Beijing, 100029 China 3 Inst. of Computational Linguistics, Peking University, Beijing, 1000871 China E-mail: HYPERLINK mailto:yhk@public3.bta.net.cn yhk@public3.bta.net.cn Abstract: automatic recognition of organization name is emphasis and difficulty for named entity identification. Because of their inherent deficiencies, previous solutions are not satisfactory. This paper presents an approach for organization name recognition based on role tagging. That is: tokens after segmentation are tagged using Viterbi algorithm with different roles according to their functions in the generation of organization name; the possible names are recognized after sting identification on the roles sequence. During the recognition process, only the possibilities of tokens being specific roles and the transition possibilities between roles are required. The significance is that such lexical knowledge can be totally extracted from corpus automatically. In b