计算机科学与技术毕业论文汉语分词技术分析.docVIP

兰 州 商 学 院 本科生毕业论文（设计） 论文（设计）题目： 汉语分词技术初探 学 院、 系： 信息工程学院 计算机科学与技术系 专 业 (方 向)： 计算机科学与技术 年 级、 班： 学 生 姓 名： 指 导 教 师： 2011年5月18日 声 明 ? 本人郑重声明：所呈交的毕业论文（设计）是本人在导师的指导下取得的成果。对本论文（设计）的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。因本毕业论文（设计）引起的法律结果完全由本人承担。 本毕业论文（设计）成果归兰州商学院所有。 ? 特此声明 ? ? ? ? 毕业论文（设计）作者签名： 年 月 日 ? 汉语分词技术初探 摘 要 所谓汉语分词，就是将中文语句中的词汇切分出来的过程。由于汉语的书写习惯，汉语语句中词与词之间的标志是隐含的，英文的单词与单词之间有空格，所以不存在分词问题。而中文的每一句中，词与词之问是没有空格的，因而必须采用某种技术将其分开。 分词技术作为自然语言处理的基础环节，同时也是关键环节之一，它的质量好坏直接影响到后续处理步骤的效果。汉语分词工作看似细微，但作为计算机自然语言处理的第一步，它的关键作用是不容忽视的。如今汉语分词己成为自然语言处理的研究热点与难点。 本文讨论了中文分词的概念、目标及其所面临的一些基本问题，详细介绍了三种基本中文分词算法，并对中文分词词典的索引及常用词典结构进行了介绍，最后说了正向最大算法的实现及测试结果。 [关键词 ABSTRACT Chinese word segmentation，is to cut the sentence in the Vocabulary sub—out process． Since the writing habits of Chinese，Chinese sentence symbol between words is implied．the English words have the spaces between the words，So there is easy to separate．The Chinese word for each sentence，there is no space between words，and therefore must be some kind of technology to separate sentence． Chinese sentence segmentation algorithm from the 20th century，since the 80’S has been a research focus，due to the complexity of the Chinese language has been in a stage of development． Segmentation of natural language processing technology as the basic link，but also one of the key links，and its direct impact on the quality of the subsequent processing steps results．Chinese word segmentation the first step in natural language processing，and its importance can not be ignored． [Key Words] Chinese Word Segmentation，Maximum match，Segmentation Dictionary， Chinese Information Processing 目 录 一、引言 1 二、中文分词简介 3 （一）中文分词的概念 3 1、什么是中文分词 3 2、中文分词的应用 4 （二）中文分词的目标 5 1、准确性 6 2、运行效率 6 3、通用性 6 4、适用性 7 （三）中文分词的基本问题 7 1、分词规范 8 2、歧义识别 10 3、未登录词 11 三、基本中文分词算法