面向企业中文分词分析与研究.docVIP

面向企业中文分词分析与研究 　　摘要：分析了文中分词处理对于有效地开发利用企业的知识资源的重要性，并给出了中分信息处理所涉及到的研究领域以及已有成果，然后简要阐述了中文自动分词概念、方法、文档新词处理主要面临的问题和针对这些问题的解决方法。为企业文档信息处理的研究提供了一定的参考价值。 　　关键词：中分分词；词典匹配；基于统计；基于理解；未登录词 　　中图分类号：TP391.1 　　0 引言 　　文档是企业内部信息共享与信息挖掘的重要依据之一。企业文档中蕴含了丰富的技术知识以及企业自身方方面面的业务知识。在企业内部，文档记录了大部分的企业知识资源。这些资源有经营活动的具体记录、有提高员工工作能力的工作指导、也有关系企业发展命脉的技术与宗旨。高效利用企业文档信息，可以推动企业发展与创新，也可以切实为员工服务，因此一个高效企业级文档搜索???擎的设计显的尤为重要[1]。中文分词技术是搜索引擎系统的关键技术之一。分词效果直接关系到搜索结果的精准与否。中文分词技术引起侧重点不同，所使用的具体算法也是千差万别。本文将分析企业文档信息的特点，并针对企业文档特点设计一个针对企业文档的高效中文分词算法。 　　1 中文分词的发展现状 　　基于汉语分词技术近年来的研究成果，国内已经开发完成许多分词系统。代表作品有：SCWS、ICTCLAS、Paoding [2]、MMSEF4J[3]、盘古分词等等。这些分词系统非常成熟，但是基于基础理论模型的局限性似的这些系统具有先天的不足，即无法良好的解决歧义和未登录词的问题。 　　CDWS（The Modern Written Chinese Distinguishing Word System）[3]，即现代书面汉语自动分词系统。该系统使用最大匹配算法进行中分分词，并且采用词尾字构词纠错技术。但是这种分词方法比较机械，处理歧义问题效果差。 　　SEG系统是由清华大学开发的优秀分词系统，该系统找出中文文本串的所有可能的切分结果，并选出最佳切分结果作为最后的分词结果。SEG系统具有带回溯的正向、反向、双向最大匹配法并首次提出全切分的概念[4]。这种分词方法比CDWS在歧义处理方面有提高，但仍存在歧义问题。 　　ICTCLAS[4]分词系统是由中科院开发制作并对外提供API的目前被广泛使用的一套分词系统。ICTCLAS系统建立了各种常识知识库，例如地名资源知识库，识别规则库。利用语料库对层叠隐马尔科夫模型进行训练，并结合各种规则和上下文信息将中文分词、词性标注、未登录词识别、歧义识别和歧义处理集成到一个完成的系统中，实践证明该系统取得了较为满意的分词和标注结果。 　　2.中文分词处理的理论基础 　　在目前的自然语言处理技术中，中文分词技术要比西文分词技术落后的多。这是因为中西文本身存在着很大的差异。在英文搜索引擎中，由于英文中词与词之间是用空格隔开的，所以，对单个词汇的提取要简单的多。而中文词语没有特定符号标志词的边界，字与字紧密连在一起，从句子中划分出词语具有较大的难度。中文分词系统是利用计算机对中文文本进行词语自动识别的系统。一个高效的、性能优良的中文分词系统应该具备以下几个要素：分词精度、分词速度、系统可维护性、通用性、适应性[5]。 　　基于汉语分词技术近年来的研究成果，国内已经开发完成许多分词系统。如SCWS、ICTCLAS、Paoding、MMSEF4J、盘古分词等等。但是基于基础理论模型的局限性似的这些系统具有先天的不足，即无法良好的解决歧义和未登录词的问题。 　　如今已有的分词算法可分为三大类：基于词典匹配的分词方法、基于统计的分词方法和基于规则的分词方法。 　　2.1基于词典匹配的分词方法 　　这种方法的基本思想是：把需要识别的字符串与词典中的词条进行比对，如果匹配成功，那么就可识别出一个词。 　　基于词典的匹配的分词方法利用词典作为主要的资源。这种分词方法的关键是要有高质量的词典，它不需要考虑领域的自适应性问题。这类方法不能很好的解决歧义性问题以及未登录词问题，而这两个问题恰恰是分析技术所面临的主要难点。在没有未登录词的简单文本中，切分精度可以达到80%以上[6]，但考虑未登录词和歧义处理的时候，这种方法的切分准确率严重下降。 　　基于词典匹配的分词方法可以划分为两大类：最大匹配法（MM）；全切分与路径选择方法。最大匹配法，又可以划分为正向最大匹配法、逆向最大匹配法以及双向最大匹配法等。 　　2.2 基于统计的分词方法 　　这种方法的基本思路是：字与字相邻共现的频率能够较好的反映是否为词的概率。即这种方法认为，词是由稳定的字组合而成的，相邻汉字同时出现的次数越多，这些相邻汉字成词的可能性就越大。 　　基于统计的分词方法是近年来主流的分词方法，这种方法