hmm与自动规则提取相结合的中文命名实体识别-哈工大社会计算与.pdfVIP

HMM与自动规则提取相结合的中文命名实体识别 廖先桃 于海滨 秦兵 刘挺 （哈尔滨工业大学信息检索研究室，哈尔滨，150001） E-mail: {taozi, yhb, qinb, tliu}@ 摘要： 本文实现的中文命名实体识别系统采用了隐马尔可夫模型（Hidden Markov Model, HMM）与自动规则提取相结合的方法。整个识别过程可以分为两个步骤，首先使用 HMM识别， 然后再利用自动提取的规则对识别结果进行修正。二者的有机结合使得系统性能有了很大的 提高。实验表明，中文命名实体识别总的精确率、召回率和 F值分别达到了 86.93%，83.69%， 85.28%。 关键词: 中文命名实体；隐马尔可夫模型 引言 命名实体（Named Entity, NE）是指被命名的唯一确定的最小信息单位，包括人名、地 名、机构名、专有名词、时间表达式、数字表达式等，是构成句子的重要成分。它的识别是 信息抽取 （Information Extraction）、自动问答（Question Answering）、机器翻译 （Machine Translation）等技术的重要基础。近年来，NE 识别系统的评测受到很多会议的关注，如 MUC-6，MUC-7，Coling2002，Coling2003 等[1] 。美国国家标准技术研究所（NIST）组织的自 动内容抽取（Automatic Content Extraction，ACE）评测会议1也将 NE 识别作为其评测的 两大任务之一，可见其重要程度。 NE 的识别方法主要有两种，一种是基于规则的方法，它的识别系统比较简单，但是必 须人工制定规则，费时费力，且系统的健壮性和移植性不好。现在的 NE 识别更倾向于基于 统计的机器学习方法，它的健壮性和灵活性都比规则的方法好，且代价小，但是需要大规模 的语料进行训练。具有代表性的机器学习算法有 HMM[2] [3] ，Maximum Entropy ，Memory-based learning[4] [5] ,Support Vector Machine 等。 目前，英文 NE 的识别技术已经达到了较高水平。然而，对中文来说，因为一方面它没 有空格标志词语边界，另一方面也没有词语的明确定义，所以和英文相比，中文 NE 的识别 更加困难。常用手动书写规则并结合词频信息的方法，目前也开始使用机器学习算法，如 HMM[6][7]，class-based language model[7][8],RRM type methods[7][9]等。 本文实现的中文 NE 识别系统采用了统计和规则相结合的方法，首先以词性为观察值建 立一个简单的基于 HMM 的 NE 识别系统，然后再利用自动获取的规则对 HMM 的识别结果进行 修正。这种方法可以有效的发挥二者的优势，充分利用 NE 的内部结构特征和上下文信息， 克服了二者简单结合所带来的识别结果不易融合的缺点，提高了系统对中文 NE 的整体识别 效果。 1 系统概述 我们的系统包括两个部分，一是基于 HMM 的 NE 识别部分，二是规则修正部分。系统的 结构图如图 1 所示。基于 HMM 的 NE 识别部分的输入是已分词且标注了词性的句子，它的识 别结果又作为规则修正部分的输入，整个系统的输出是标注了 NE 标记的句子。下面我们就 将对系统做详细介绍。 1 /iad/894.01/tests/ace/ 分词且标注 标注了NE标 训练语料 词性的句子 记的句子 初始概率矩阵 汉字序列 参数