HMM与自动规则提取相结合的中文命名实体识别.pdfVIP

HMM与自动规则提取相结合的中文命名实体识别 廖先桃 于海滨 秦兵 刘挺 (哈尔滨工业大学信息检索研究室，哈尔滨，150001) E-mail:(taoz月，yhb,ginb,tliu)@ 摘要:本文实现的中文命名实体识别系统采用了隐马尔可夫模型 (HiddenMarkovMode1, HMM)与自动规则提取相结合的方法.整个识别过程可以分为两个步骤，首先使用HMM识别， 然后再利用自动提取的规则对识别结果进行修正.二者的有机结合使得系统性能有了很大的 提高.实验表明，中文命名实体识别总的精确率、召回率和F值分别达到了86.93%,83.69%, 85.28%. 关键词:中文命名实体;隐马尔可夫模型 引言 命名实体 (NamedEntity,NE)是指被命名的唯一确定的最小信息单位.包括人名、地 名、机构名、专有名词、时间表达式、数字表达式等，是构成句子的重要成分。它的识别是 信息抽取 (InformationExtraction)、自动问答 (QuestionAnswering)、机器翻译 (Machine Translation)等技术的重要基础。近年来，NE识别系统的评测受到很多会议的关注，如 MUC-6,MUC-7,Coling2002,Coling2003等川。美国国家标准技术研究所 (NIST)组织的自 动内容抽取 (AutomaticContentExtraction,ACE)评测会议，也将NE识别作为其评测的 两大任务之一，可见其重要程度。 NE的识别方法主要有两种，一种是基于规则的方法，它的识别系统比较简单，但是必 须人工制定规则，费时费力，且系统的健壮性和移植性不好。现在的NE识别更倾向于基于 统计的机器学习方法，它的健壮性和灵活性都比规则的方法好，且代价小.但是需要大规模 的语料进行A练。具有代表性的机器学习算法有HMMI21,MaximumEntropyl31,Memory-based learning141,SupportVectorMachinel5喀。 目前，英文NE的识别技术已经达到了较高水平。然而，对中文来说，因为一方面它没 有空格标志词语边界，另一方面也没有词语的明确定义，所以和英文相比，中文NE的识别 更加困难。常用手动书写规则并结合词频信息的方法，目前也开始使用机器学习算法，如 IUIMIJ1A,class-basedlanguagemodel171183,RRMtypemethods173191等。 本文实现的中文NE识别系统采用了统计和规则相结合的方法，首先以词性为观察值建 立一个简单的基于IJMM的NE识别系统，然后再利用自动获取的规则对HMM的识别结果进行 修正。这种方法可以有效的发挥二者的优势，充分利用NE的内部结构特征和上下文信息， 克服了二者简单结合所带来的识别结果不易融合的缺点，提高了系统对中文NE的整体识别 效果。 1 系统概述 我们的系统包括两个部分，一是基于HMM的NE识别部分，二是规则修正部分。系统的 结构图如图1所示。基于HMM的NE识别部分的输入是己分词且标注了词性的句子，它的识 别结果又作为规则修正部分的输入，整个系统的输出是标注了NE标记的句子。下面我们就 将对系统做详细介绍。 h仰:J//iad/894.01/tests/ace/ ·232 。 图1HMM与 自动规则提平时Q结合的中文 阳识别系统 2 基干HMM的NE识别 2.1Mil练 M [io】是一种重要的统计自然语言模型.己被广泛应用于语音识别，音字转换，词性标 注等领域.模型描述了一个双重的随机过程，其中，状态之间的转换过程是不可观察 (隐藏) 的，它对应了转移概率矩阵。而可观察的事件的随机过程是隐藏的状态转换过程的随机函数， 它对应了发射概率矩阵。HMM可以表示为一个五元组{S,0,P,A,B}。其中， S:(S,,…，S.}表示状态的集合: 0:(0,,…，0.)表示观察值的集合; P二{Pi}表示状态的初始概率: A二(a;,}表示从状态S到状态S,的转移概率矩阵; B二{b}表示从状态S」观察到0.的发射概率矩阵。 在我们的基于HMM的NE识别系统中，主要利用词性作为观察值，共28种。系统识别的 NE有四类，包括人名 (Nh)、地名 (Ns)、机构名 (Ni)和专有名词 ((Nz)。每一种类别根据