基于双向匹配的中文分词算法的研究实现.docVIP

Ⅰ 摘 要 中文分词是信息提取、信息检索、机器翻译、文本分类、自动文摘、语音识别、文本语音转换、自然语言理解等中文信息处理领域的基础，虽然研究了很多年，但是中文分词依然是中文信息处理的瓶颈之一。 本文首先将已有的分词算法进行了分析、总结和归纳，讨论了中文识别一直难以很好解决的两大问题：歧义识别和未登录词。接着在基于词典的基础上将最大正向匹配和最大逆向匹配结合起来，得到了双向匹配分词算法，并且使用了自己提出的字典机制（子字典机制）实现了一个基于双向匹配算法的中文分词系统。 关键词：中文分词；双向匹配；子字典机制 ABSTRACT Chinese word segmentation is the basis of information extraction, information retrieval, machine translation, text categorization, automatic summarization, speech recognition, text-speech, natural language understanding and other Chinese information processing , although Chinese word segmentation has been studied for many years,