《中文自动分词算法综述》-毕业论文（设计）.docVIP

PAGE 中文自动分词算法综述 内 容 摘 要 本篇文章首先介绍了分词在信息检索、自动标引、自动文摘、机器翻译、语言学研究、搜索引擎研究和自然语言理解等方面的应用以及现有的分词系统；接着介绍分词的基本知识，并提出分词规范的问题，进而引出分词的困难：歧义识别，未登录词识别，分词与理解的先后。 第三章给出三种基本分词方法：基于字符串匹配、基于理解和基于统计的分词方法。特别地给出三种分词算法：最大匹配算法，最少切分算法，基于统计语言模型的分词算法。并分析三种算法的优缺点，指出现有分词算法的局限性。最后从分词算法的特点和输入习惯的角度提出一些新的想法，并对分词算法的发展趋势做出预测。 关键字：分词 匹配 统计 理解 Automatic segmentation for Chinese: the survey Abstract This paper first introduced the segmentation in the information inspectional, automatic mark, automatic selected essays, machine translation, the linguistics study, search for the engine study to comprehend with natural language to wait the application and current segmentation system of the aspect; Immediately after introduce the segmentation’s basic knowledge, and bring up the problem of the segmentation, and enter but the difficulty of the segmentation: The ambiguity identifies, and unlisted words identify, segmentation and comprehend successively. Chapter 3 gives to out three basic participle methods: Base on strings matching, statistics and comprehending. And analyze the goodness and weakness of three kinds of calculate ways, point out the localization of the current participle calculate way. Automatic Chinese word segmentation is a basic research issue on Chinese information processing tasks such as information extraction，information retrieval，machine translation，text classification，automatic text summarization，speech recognition，text—to—speech，natural language understanding and so on. Key Words：Segmentation match statistics comprehend 目 录 TOC \o 1-3 \h \z \u 绪 论 1 （一）引言 1 （二）汉语的特点 1 （三）中文分词的定义、意义和现状 2 1.中文分词的定义 2 2.中文分词的意义 2 3.中文自动分词现状 2 4.几个早期的自动分词系统 3 （四）自动分词系统的性能指标 4 （五）问题的提出 5 一、中文分词中的难题 6 （一）歧义识别 6 （二）新词 6 （三）现有研究成果 6 1.歧义的消除 7 2.未登陆词的识别 7 二、现有分词方法分析 9 （一）现有分词方法介绍 9 1.现有主要的分词方法 9 2.分词算法的基本思想 9 （二）分词方法的比较 10 1.机械匹配算法 10 2.统计语言算法 10 3.人工智能算法 10 （三）现有的分词方法的局限性 11 三、最大匹配算法的研究 12 （一）最大匹配算法设计 12 （二）最大匹配算法的不足