一种开放式中文命名实体识别的新方法.pdfVIP

一种开放式中文命名实体识别的新方法 齐振宇，赵军，杨帆 中国科学院自动化研究所模式识别国家重点试验室，北京，100190 E-mail: zyqi@ jzhao@ fyang@ 摘 要：本文研究开放式中文命名实体识别问题。针对传统命名实体识别方法具有训练语料标注困难，自 适应能力不强等缺点，研究人员提出了开放式的命名实体识别。但由于汉语的特殊性，使得开放式中文命 名实体识别的相关研究很少，效果也不理想。本文提出了一种开放式中文命名实体识别方法，模拟语言习 得的过程，从句子结构出发，通过分类器得到含有命名实体的碎片序列，进而从中抽取出命名实体。实验 结果表明，该方法可以较好地从不限领域的中文文本中抽取不限类别的命名实体。 关键词：开放式；命名实体识别。 A New Method for Open Named Entity Recognition of Chinese Zhenyu Qi, Jun Zhao, Fan Yang National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences Beijing 100190 E-mail: zyqi@ jzhao@ fyang@ Abstract: This paper focused on the task of open named entity recognition of Chinese. The traditional methods have the following two main problems. Firstly, to label the corpse is very boring work. Secondly, these methods come to big problem when facing domain transfer. Aiming at these two problems, this paper proposed a new Chinese Named Entity Recognition method based on the simulation of language learning. This system first got a set of word sequences of NE or with NE in it. Then it extracted NEs from the set. The experiments show this method can perform well in NE recognition in open Chinese texts. Keywords: Open, Named Entity Recognition 1 引言 命名实体（以下简称“实体”）是文本中承载信息的重要语言单位，其在信息抽取、机 器翻译、自动文摘等多个领域有重要作用。一般来讲，实体在文本中的出现可以有三种形 式：命名性指称、名词性指称和代词性指称。例如在句子“[[美国]总统][奥巴马] 出席了会 议，[他]在会上发表了演讲。”中，实体概念“奥巴马”的指称项有三个，其中“美国总统” 是名词性指称，“奥巴马”是命名性指称，“他”是代词性指称。本文主要关注命名性指称 的命名实体。 一般来说，命名实体识别（以下简称“实体识别”）是指识别出文本中实体概念的命名 性指称项。具体的讲，就是识别出待处理文本中三大类（实体类、时间类和数字类）、七小 类（人名、机构名、地名、时间、日期、货币和百分比）命名实体。由于时间、日期、货 币和百分比的构成有比较明显的规律，识别起来相对容易，因此命名实体识别通常指的1是 本文受到国家高技术发展计划（863计划）项目（2006AA01Z014）和国家自然科学基金项目 ）资助。 1 人名、地名