Python数据分析课件：使用jieba处理文本.pptxVIP

使用Jieba处理文本

Jieba的安装中文分词大多使用Jieba作为分词工具。开发者可以使用如下指令安装Jieba分词库。$easy_installjieba或使用如下指令。$pipinstalljieba或者直接下载源文件，解压后输入指令进行安装，具体指令如下。$pythonsetup.pyinstall在使用时使用importjieba导入即可。具体可参考网站

Jieba的应用1.分词Jieba分词可以完成基本的分词动作。该分词动作是通过cut()函数完成的，函数的具体使用格式如下：Jieba.cut(sentence,cut_all=False,HMM=True)importjiebaseg_list=jieba.cut(郑州工程技术学院是中国人才培养的摇篮)精确模式:+-.join(seg_list)结果为：精确模式:郑州-工程技术-学院-是-中国-人才培养-的-摇篮

Jieba的应用值得注意的是，上述模式的返回值都是可迭代对象，使用较为麻烦不便于调试，Jieba分词人性化地提供了lcut()和lcut_for_search()函数，返回值为列表对象，具体代码如下。seg_list=jieba.lcut(郑州工程技术学院是中国人才培养的摇篮)print(精确模式:,seg_list)结果为：精确模式:[郑州,工程技术,学院,是,中国,人才培养,的,摇篮]

Jieba的应用2.自定义词典Jieba分词库允许开发者自行添加自定义词典，用来包含Jieba词库没有的词。添加词典的函数为load_userdict()，其使用格式如下：jieba.load_userdict(file_name)其中，file_name参数表示文件类对象或自定义词典的路径，file_name所指向的路径为TXT格式文件，一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。file_name若为路径或二进制方式打开的文件，则文件必须为UTF-8编码。

Jieba的应用seg_list=jieba.cut(李小福是创新办主任也是云计算方面的专家;计算机前沿技术教育咨询),.join(seg_list)李小福,是,创新,办,主任,也,是,云,计算,方面,的,专家,;,,计算机,前沿技术,教育,咨询然后，新建info.txt文件并添加相关内容，添加的内容如：创新办100云计算100教育咨询3jieba.load_userdict(./info.txt)把“创新办”“云计算”“教育咨询”作为新词

Jieba的应用3.动态修改词典可以通过使用add_word(word,freq=None,tag=None)和del_word(word)在程序中动态修改词典。其中各参数表示的含义如下：? word：表示添加或删除的词，string类型，无默认值。? freq：表示词语的频率，int类型，默认值的None。? tag：表示词语的词性，string类型，默认值为None。

Jieba的应用4.关键词提取关键词提取是常用的文本处理方式，Jieba分词提供jieba.analyse.extract_tags()函数和jieba.analyse.textrank()函数支持关键词的提取，这两个函数是基于不同的算法的。（1）基于TF-IDF算法的关键词抽取。Jieba提供的extract_tags()函数格式如下：jieba.analyse.extract_tags(sentence,topK=20,withWeight=False,allowPOS=(),withFlag=False)（2）基于TextRank算法的关键词抽取Jieba分词还提供了基于TextRank算法的分词函数textrank()，它的基本格式为：textrank(sentence,topK=20,withWeight=False,allowPOS=(ns,n,vn,v))该函数的参数与extract_tags()函数的参数基本相同。

Jieba的应用5.词性标注Jieba提供了词性标注的功能，该功能通过使用Posseg对象的cut()函数实现。【例8.5】词性标注，具体代码如下。In[17]:importjieba.possegaspsegwords=pseg.cut(去北京爬长城)forword,flaginwords:print(%s%s%(word,flag))去v北京ns爬v长城ns