中文自动分词系统设计+文献综述.docVIP

中文自动分词系统设计+文献综述 随着社会的发展，科学的进步，人类在不知不觉中进入了一个ldquo;信息大爆炸rdquo;的阶段，人类通过电视、报纸、收音机、户外媒体等所接触的各种资讯以飞一般的速度增长。在这个各种文字信息快速传播的社会里，无论是个人、企业还是国家，信息的重要性与日俱增。在这个接触过程中，计算机所参与的分量越来越多，人类的各种语言和符号是人类之间相互交流，理解彼此间意图的一个纽带，在这个过程中，语言起到了一个根本性的作用。7829 当人们发现计算机在很多发面能够帮助人甚至代替人完成一系列的工作，人类就期望计算机能够直接理解人类的语言，甚至能够在某种程度上具有一定的智能。但是由于计算机不能直接处理人类的自然语言，因此必须通过特定的软件和人机接口来达到这种目的，使计算机能够理解人们要它做什么，以及应该怎么做。如何高效、快速、准确的处理海量文字信息成为了技术人员和实际工业界应用的热点。在中国，据统计80%以上的信息是以语言文字为载体。国务院制定的国家中长期科技发展纲领中也明确指出：ldquo;中文信息处理市高新技术发展的重点rdquo;。 计算机在数字处理和运算方面的成就都已有目共睹。相比这些领域的应用，在自然语言处理方面，无论发展程度还是使用程度都相对滞后。从研究现状来看，自然语言理解和处理的理论体系仍未在真正意义上建立，技术手段仍然比较单一。 自然语言作为人类思想感情最基本、最直接、最自然地表达方式，是人类社会中最常用的交流工具。随着信息时代的到来，人们使用自然语言进行通信和交流的形式也越来越趋于多样性、灵活性和广泛性。然而，人脑是如何来建立自然语言的思维过程？如何来建立自然语言、知识和客观世界之间可计算的逻辑？诸如此类一系列问题一直困扰着自然语言处理的研究者们。目前用计算机来处理自然语言的应用大部分情况下都不能满足人们的需求。语言之间的障碍已成为21世纪制约人类发展和全球化的一个重要因素，自然语言处理的研究肩负着打破不同语言之间的壁垒，为人与人、人与计算机之间的交流提供高效实用支持的重大任务。 分词技术作为自然语言处理的基本环节，同时也是关键环节之一，它的质量好坏直接影响到后续处理步骤的效果。其中，中文分词由于中文结构的特点，与西方国家文字相比更难以处理。汉语的词汇与词汇之间没有显式的边界，汉语的分词需要通过计算机对文字内容的分析，来达到切分词汇的目的。中文分词已成为计算机处理汉语面临的首要基础性工作。只要提高中文分词系统的准确率和工作效率，才能使自然语言处理系统稳定高效地工作。相信在不久的将来，计算机科学技术的进一步发展能将人类文明推向新的高度。 2中文分词概述 2．1中文分词的概念 2.1.1什么是中文分词 中文分词是中文信息处理技术中最基础、最关键的一个环节。所谓中文分词，指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。[5]我们知道，在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段能通过明显的分界符来简单划界，唯独词没有一个形式上的分界符，虽然英文也同样存在短语的划分问题，不过在词这一层上，中文比之英文要复杂的多、困难的多。 比如英语句子ldquo;A lazy youth,a lousy agerdquo;，中文意思为ldquo;少壮不努力，老大徒伤悲rdquo;。对于英语句子来说，只有通过空格和标点符号来切分即可，并且不会产生歧义。在中文句子ldquo;少壮不努力，老大徒伤悲rdquo;中ldquo;老大rdquo;和ldquo;老rdquo;、ldquo;大rdquo;都有可能构成词，要让计算机明白什么时候应该切分出一个词汇，相对于英语来说，难度有质的不同。 中文分词的过程，就是要把一句话中有意义的词汇都切分出来。在ldquo;少壮不努力，老大徒伤悲rdquo;这句话中，正确的切分应该是ldquo;少壮/不/努力，老大/徒/伤悲rdquo;。 2.1.3中文分词的应用 中文分词主要应用于信息检索、汉字的只能输入、中外文对译、中文校对、自动摘要、自动分类等很多方面。下面就以信息检索为例来说明中文分词的应用。 通过近几年的发展，互联网已经相当普及，互联网上的信息也在急剧膨胀，在这海量的信息中，各类信息混杂在一起，要想充分利用这些信息资源就要对它们进行整理，如果有人来做这项工作，已经是不可能的，而如果面对中文信息不采用分词技术，那么整理的结果就过于粗糙，而导致资源的不可用，例如：ldquo;实现在情报方面的自动化rdquo;和ldquo;现在是时候出发了rdquo;中都有ldquo;现在rdquo;，被当做同一类来处理，结果是检索ldquo;现在rdquo;的相关信息，会将他们都检索到，在信息量少的情况