中文分词jieba库 (1)讲解.pptxVIP

BYYUSHENPython中文分词jieba库主讲老师：任越美

jieba库在自然语言处理过程中，为了能更好地处理句子，需要把句子拆开分成一个一个的词语，这样能更好的分析句子的特性，这个过程叫做分词。pipinstalljieba安装：importjieba使用：

jieba库分词模式精确模式全模式搜索引擎模式任务一：使用jieba库精确模式对文本“河小青具有团队协作精神及创新能力”进行分词操作。

jieba库—精确模式是精确模式分词：试图将句子最精确地切开，适合文本分析。cut和lcutimportjiebas=河小青具有团队协作精神及创新能力words1=jieba.cut(s)#jieba.cut()返回的是一个可迭代类型words=jieba.lcut(s)#jieba.lcut()返回的是一个列表print(精确模式:+/.join(words1))print(精确模式:,words)运行结果：精确模式：河小青/具有/团队/协作/精神/及/创新能力精确模式：[‘河小青’,’具有’,’团队’,’协作’,’精神’,’及’,’创新能力’]

jieba库—全模式通过设置参数cut_all=true将中文文本进行全模式分词，找出所有的词语。cut和lcut区别1.精确模式是将句子最精确的切分，不存在冗余数据。2.全模式把所有可能是词的词语都切分出来，存在冗余数据。

jieba库—搜索引擎模式为搜索引擎模式，在精确模式的基础上，对长词再次切分。lcut_for_search任务二：使用搜索引擎模式对文本“河小青是一名品学兼优的合格大学生”进行分词操作。

jieba库—搜索引擎模式搜索引擎模式是将精确模式中的长词，再次按照全模式切分。精确模式：[‘河小青’,‘是’,‘一名’,‘品学兼优’,‘的’,‘合格’,‘大学生’]搜索引擎模式：[‘河小青’,‘是’,‘一名’,‘品学’,‘兼优’,‘品学兼优’,‘的’,‘合格’,‘大学’,‘学生’,‘大学生’]

BYYUSHEN函数描述jieba.cut(s)精确模式，返回一个可迭代的数据类型jieba.cut(s,cut_all=True)全模式，输出文本s中所有可能单词jieba.cut_for_search(s)搜索引擎模式，适合搜索引擎建立索引的分词结果jieba.lcut(s)精确模式，返回一个列表类型jieba.lcut(s,cut_all=True)全模式，返回一个列表类型jieba.lcut_for_search(s)搜索引擎模式，返回一个列表类型jieba.add_word(w)向分词词典中增加新词w中文分词jieba库——jieba库主要函数

jieba库分词任务三：使用jieba库增加新词和自定义词典1.使用jieba.add_word()添加新词2.自定义词典自定义词典用法：jieba.load_userdict(filename)#filename为文件类对象或自定义词典的路径。

jieba库分词1.向分词词典增加新词语法格式：jieba.add_word(“想加入的新词”)2.自定义词典语法格式：jieba.load_userdict(filename)#filename为文件类对象或自定义词典的路径。

总结添加新词的方法02jieba库分词的三种模式01总结

BYYUSHENPython谢谢大家