基于条件随机场的中文歧义消解方法.docxVIP

基于条件随机场的中文歧义消解方法 摘要 在当今这个信息化社会中，由于网络的快速发展，信息量的急剧增加，信息处理技术变得越来越重要。在这种情况下，自然语言处理成为当今时代的一大研究热点。中文自动分词是中文信息处理过程中的一个基础性的步骤，对后续的文本分类、句法分析、机器翻译等工作会产生十分重要的影响。 本文调研了当前中文分词技术的发展现状，介绍了目前主要的分词算法，同时分析了在中文自动分词领域存在的几大难题。中文分词，就是指将文本中的内容通过计算机的分词算法来切分成词，以便计算机对其进行后续的处理。由于汉语的复杂性及模糊性，经常在分词过程中出现各种各样的歧义字段。如何对这些歧义字段进行正确地切分，成为中文自动分词技术中的一个关键点。 本文着重研究的是分词技术中交集型歧义字段的处理，并从分析歧义字段产生的原因入手，概述了歧义字段常用的几种识别算法和消解算法。目前分词歧义处理中使用的模型有很多，比如最大炳模型、隐马尔可夫模型等等，但是这些模型都存在着一些不足，在实际应用中效果较差。二十世纪初由Lafferty等人构建的条件随机场模型（CRFs）克服了隐马尔可夫模型和最大嫡模型的一些缺点，常用于计算语言学、生物信息学、语音识别、图像目标识别等领域，取得了很好的效果。因此，本文重点研究基于条件随机场的交集型歧义字段消解方法。 本文采用双向最大匹配算法将交集型歧义字段从语料中提取出来，然后通过基于CRFs模型的实用工具CRF++将提取出的大量歧义字段进行训练，从而研究了 CRFs模型在处理交集型歧义字段上的能力。本文还通过改变训练语料的数量，研究了 CRFs模型应用于分词时其分词结果的正确率对训练语料的依赖程度。 关键词：条件随机场，中文分词，歧义处理，分词算法 Chinese Ambiguity Resolution Method based onConditional Random Field ABSTRACT In todays information society, due to the rapid development of network and the rapid growth ofthe amount of information, the natural language processing technology is becoming more and moreimportant. In this situation, information processing technology has become a hot research topic in themodern times. Chinese automatic word segmentation is a basic step in the process of Chineseinformation processing, and it will make a very important impact on the following works such as textclassification, syntax analysis and machine translation. This paper surveys the current development of Chinese word segmentation technology,introduces the main word segmentation algorithm, and analyzes the existing problems in the field ofChinese automatic word segmentation. Chinese word segmentation, Because of the complexity andfuzziness of Chinese, there are various kinds of ambiguities in the process of word segmentation. Itbecomes a key point in Chinese automatic segmentation technology to correctly segment theseambiguities. This paper focuses on the study of the processing of crossing ambiguities in the wordsegmentation technology, and from the analysis of the