中文分词研究与实现答辩ppt.pptVIP

中文分词的研究与实现 壹 贰 叁 肆 伍 陆 前言 中文分词的简介 基本中文分词算法 中文分词词典 算法的实现 分词算法的发展 研究背景 伴随的科技的发展，信息时代的来临，人们可以查询和检索的各类中文信息日渐增多，如何找到自己想要的资源成为一个非常重要的研究课题。在当今时代，出现了各种自动化的方法，这种自动化的处理方法可以帮助人们检索、管理信息，来解决现实问题。目前已经出现了很多自动化的技术，例如自动摘要、自动检索等语言处理技术，在这些技术里的一个关键点是主题词，正确地提取主题词有助于简化此类工作，而如何找到主题词正是中文分词技术的研究范畴。 第一章 前言 中文分词的发展 自80年代初，中文信息处理领域提出了自动分词以来，一些实用性的分词系统逐步得以开发，北京航空航天大学计算机系实现了第一个实用的自动分词系统，之后，清华大学，复旦大学，哈尔滨工业大学等学校相继完成了自己的分词系统。 第二章 中文分词的简介 2.1中文分词的概念及应用 分词就是利用计算机识别出文本中词汇的过程。在英文中，词汇之间一般会有空格等比较明显的分隔符。而中文中，是以字为基本书写单位，只有段与段、句与句之间有分隔符，而词汇之间没有分隔符，所以，中文分词比英文要复杂 很多互联网功能的实现都需要分词，例如汉字处理、信息检索、内容分析和语音处理等方面。 2.2 中文分词的目标 准确性 准确率是分词系统性能中最重要的核心指标 运行效率 分词是各种汉语处理应用系统中共同的、基础性的工作，这步工作消耗的时间应尽量少。 通用性 自动分词系统应支持不同地区的中文字符处理 适用性 可以方便地集成在各种各样的汉语信息处理系统中。 2.3 中文分词的基本问题 分词规范： 词需要有清晰的定义，因此我们需要有一个核心词典 歧义识别 歧义是汉语中普遍存在的问题，因此切分歧义词也是汉语分词中的一大难题。形式上相同的一段文字，在不同的场景或语境中，可以切分出不同的结果，有不同的含义。 未登录词 在文本处理过程中，会遇到很多词典中未囊括的词语。这些词就是未登录词。 第三章基本的中文分词算法 3.1 基于词表的分词算法 正向最大匹配算法 逆向最大匹配算法 临近匹配算法 最短路径算法 3.2 基于统计模型的分词算法 最大概率的分词算法 N—最短路径算法 不同分词方法的比较 最大匹配分词算法是一种简单的基于词表的分词算法，有着非常广泛的应用。这种方法只需要很少的语言资源，程序实现简单，开发周期短，是一个简单实用的方法。但其对歧义字段的处理能力还不够强大。 全切分方法的优点是可以发现所有的切分歧义，但解决歧义的方法很大程度上取决于统计语言模型的精度和决策算法，需要大量的标注语料，并且分词速度也因搜索空间的增大而减缓。 最短路径分词方法的切分原则是使切分出来的次数最少。这种切分原则多数情况下符合汉语的语言规律，但无法处理例外的情况，而且如果最短路径不止一条时，系统往往不能确定最优解。 第四章 中分分词词典 4.1 词典的索引 Hash索引 Hash函数是一个映像，其将关键字的集合映射到某个地址的集合。用Hash表的方法构造词典就是将关键字与表项的存储位置建立一个对应的函数关系 Trie树 Trie树又称前缀树。它是一棵度=2的树，树中的每个结点中不是包含一个或几个关键字，而是只含有组成关键字的符号 4.2 常用的词典机制 基于整词二分法的词典 基于Trie 索引树的词典 第五章 正向最大匹配算法的实现 5.1正向最大匹配算法 首先读入一段文子，取出标点符号，这样句子就被分成相应的若干段，然后对每一段进行词典的匹配，如果没有匹配成功就从段末尾减去一个字，再进行匹配，重复上述过程，直到匹配上词典上的某个词组或只剩下一个字符，接着将句子剩余的部分重复上述流程，直到将句子全部分解成原子或词典中存在的词组。 流程图 匹配过程