原创力文档- 1、本文档共12页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
第七节中文分词原理中文分词(ChineseWordSegmentation)是中文自然语言处理中的一个基础任务，由于中文文本没有像英文那样的明显的单词分隔符，所以中文分词的任务就是将一个汉字序列切分成一个个单独的词。中文分词原理
这类方法主要有最大匹配法，都是基于词典进行匹配的，比如正向最大匹配法是指从左向右取词，取词的长度与词典中最长的词相同，然后逐渐缩短长度，直至匹配成功。基于字符串匹配的分词方法常见方法第七节中文分词原理
这类方法主要有最大匹配法，都是基于词典进行匹配的，比如正向最大匹配法是指从左向右取词，取词的长度与词典中最长的词相同，然后逐渐缩短长度，直至匹配成功。基于字符串匹配的分词方法常见方法这类方法包括基于N-gram模型、HMM模型等。比如HMM模型会把分词任务当作序列标注问题来解决，对每个字进行标注，从而实现分词。基于统计的分词方法第七节中文分词原理
这类方法主要有最大匹配法，都是基于词典进行匹配的，比如正向最大匹配法是指从左向右取词，取词的长度与词典中最长的词相同，然后逐渐缩短长度，直至匹配成功。基于字符串匹配的分词方法常见方法这类方法包括基于N-gram模型、HMM模型等。比如HMM模型会把分词任务当作序列标注问题来解决，对每个字进行标注，从而实现分词。基于统计的分词方法近年来，随着深度学习的发展，一些基于神经网络的中文分词方法也得到了广泛的应用，如基于BiLSTM的序列标注方法等。深度学习方法第七节中文分词原理
第七节中文分词原理基于HMM的中文分词原理采用隐藏马尔科夫模型(HMM)，它是统计分词方法中常用的一种，它是一种统计模型，用来描述一个含有未知参数的马尔科夫过程。在中文分词中，HMM用于解决切词的歧义问题，通过对字进行状态标注，从而达到分词的目的。基于HMM的中文分词原理
第七节中文分词原理HMM模型在分词中的应用，通常是将分词问题视作为一个序列标注问题，即给出一个观察序列(这里是字序列)，找出最可能的状态序列(这里是每个字的状态，如B/M/E/S，即词首、词中、词尾、单字成词)。HMM模型在分词中的应用
第七节中文分词原理在分词的过程中，HMM模型需要三个主要的参数：初始概率：即每个标签作为序列的起始标签的概率。转移概率：即从当前标签转移到下一个标签的概率。发射概率：即每个标签生成某个观察值(这里是字)的概率。以上的这些概率参数，都是通过对大量的已经分好词的语料进行统计得到的。HMM模型参数
第七节中文分词原理在实际操作中，可以使用jieba来进行分词，这个工具中已经内置了训练好的模型，可以直接使用，而无需我们从头开始训练模型。应用案例importjiebasentence=我来到北京清华大学words=jieba.cut(sentence)print(list(words))
第七节中文分词原理代码实现importjiebasentence=我来到北京清华大学words=jieba.cut(sentence)print(list(words))
第七节中文分词原理代码实现importjiebasentence=我来到北京清华大学words=jieba.cut(sentence)print(list(words))
第七节中文分词原理代码实现importjiebasentence=我来到北京清华大学words=jieba.cut(sentence)print(list(words))
第七节中文分词原理代码实现importjiebasentence=我来到北京清华大学words=jieba.cut(sentence)print(list(words))
文档评论（0）