基于混合模型的中文人名识别方法研究-计算机软件与理论专业论文.docxVIP

2015华 东 交 通 大 学 2015 届 硕 士 学 位 论 文 基 于 混 合 模 型 的 中 文 人 名 识 别 方 法 研 究 信 息 工 程 学 院 王 俊 摘要 摘要 I I 基于混合模型的中文人名识别方法研究 摘要 中文命名实体识别是中文自然语言处理技术的基础理论，而在命名实体中，人名是 识别难度最高、所占比例最大的一个类别。人名是影响分词准确度的重要因素，而且分 词系统中通常具有人名识别的模块。因此中文人名识别的工作是具有重大意义的。 本文针对汉语文本中人名的识别方法进行了深入的研究，提出了下列两种人名识别 方法： (1)在传统的只统计人名用字的朴素贝叶斯分类方法的基础上，将人名上下文边界 融入其中，并利用从大规模语料库中统计的人名用字、边界模板频率对人名定界，再通 过扩散操作召回遗漏人名。该方法简单易行，并能取得很好的效果。 (2)首先运用条件随机场模型对句子进行人名用字角色标注，然后使用基于转换的 错误驱动学习方法获得校正规则库，用来校正标注结果，最后将人名角色组合成人名。 条件随机场模型在许多有关序列标记的研究中都能够取得很好的分类效果。使用错误驱 动学习方法不仅能充分利用人名的上下文信息，而且可以处理好语料库数据稀疏的问 题。 关键词：人名识别；朴素贝叶斯分类；边界模板； 条件随机场；错误驱动学习 Abst Abstract II II Research on Chinese Person Name Recognition based on Hybrid Models ABSTRACT Chinese named entity recognition is a basic theory of natural language processing. Chinese personal name is in the largest number and difficulty to identify in Chinese Named Entity. Its existence is an important factor which is influence the segmentation accuracy. There are always modules specialized in Chinese person name recognition in Chinese word segmentation system. Therefore, it is important that the work of Chinese person name recognition. This paper is mainly about Chinese person name automatically identification on the basis of the modem Chinese text. This paper is mainly about Chinese person name recognition on the basis of the Chinese text. We proposed the following two methods of Chinese person name recognition: On the basis of the traditional Naive Bayesian classification algorithm that just considered characters of Chinese person names, we brought boundary words of Chinese names in it. In order to overcome the difficulty of boundary defining, we counted Chinese names character frequency and boundary templates frequency from tagged corpus. Then these recognized person names are used to match the missed occurrence in the text. The method is easy and the final result is good. First, tokens are tagged using Conditional Random Fields model with different roles according to their functions in the genera