jieba库分词功能支持3种模式精确模式将句子精确地按顺序切分为词语适合文本分析全模式把句子中所有可以成词的词语都切分出来但是不能解决歧义搜索引擎模式在精确模式的基础上对长词再次切分提高召回率适合用于搜索引擎分词95课件讲解.pptxVIP

9.3.2使用分词功能jieba库分词功能支持3种模式。精确模式：将句子精确地按顺序切分为词语，适合文本分析。全模式：把句子中所有可以成词的词语都切分出来，但是不能解决歧义。搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

jieba库提供4个分词函数：cut(str,cut_all,HMM)、cut_for_search(str,HMM)lcut(str,cut_all,HMM)、lcut_for_search(str,HMM)参数str为需要分词的字符串，str可以是Unicode、UTF-8或GBK字符串。注意：不建议直接输入GBK字符串，可能遇到无法预料的错误。参数cut_all为False时采用精确模式分词，cut_all为True时采用全模式分词。参数HMM为True时使用HMM模型，为False时不使用。HMM模型指隐马尔可夫模型（HiddenMarkovModel），是一个统计模型。cut()和lcut()在参数cut_all值为False时采用精确模式分词，值为True时采用全模式分词cut_for_search()和lcut_for_search()采用搜索引擎模式进行分词。cut()和cut_for_search()返回一个可迭代的generator对象lcut()和lcut_for_search()返回一个list对象。

importjieba #导入jieba库str=Python已成为最受欢迎的程序设计语言result=jieba.cut(str) #默认使用精确模式print(，.join(result)) #用逗号连接各个词语，再输出Python，已，成为，最，受欢迎，的，程序设计，语言result=jieba.cut(str,cut_all=True) #使用全模式print(，.join(result))Python，已成，成为，最，受欢迎，欢迎，的，程序，程序设计，设计，语言

result=jieba.cut_for_search(str) #使用搜索引擎模式print(，.join(result))Python，已，成为，最，欢迎，受欢迎，的，程序，设计，程序设计，语言result=jieba.cut(str) #返回generator对象forainresult: #迭代generator对象...print(a,end=，)...Python，已，成为，最，受欢迎，的，程序设计，语言，jieba.lcut(str) #返回列表[Python,已,成为,最,受欢迎,的,程序设计,语言]jieba.lcut_for_search(str) #返回列表[Python,已,成为,最,欢迎,受欢迎,的,程序,设计,程序设计,语言]