《Python自然语言处理》第03章-语料库基础.pptVIP

网络数据获取 运行结果如图： 网络数据获取 再例如，通过编写程序，在线获取处理 HTML 文本（红楼梦），实现代码如下所示： import re,nltk from urllib.request import urlopen url=/cache/epub/24264/pg24264-images.html html=urlopen(url).read() html=html.decode(utf-8) print(html[6000:6500]) 网络数据获取 运行结果如图： 获取语料库 0 3 网络和聊天文本 步骤一：获取网络聊天文本，代码如下所示： from nltk.corpus import webtext for fileid in webtext.fileids(): print(fileid,webtext.raw(fileid)) 网络和聊天文本 步骤二：查看网络聊天文本信息，代码如下所示： for fileid in webtext.fileids(): print(fileid,len(webtext.words(fileid)),len(webtext.raw(fileid)),len( webtext.sents(fileid)),webtext.encoding(fileid)) 运行结果： firefox.txt 102457 564601 1142 ISO-8859-2 grail.txt 16967 65003 1881 ISO-8859-2 overheard.txt 218413 830118 17936 ISO-8859-2 pirates.txt 22679 95368 1469 ISO-8859-2 singles.txt 4867 21302 316 ISO-8859-2 wine.txt 31350 149772 2984 ISO-8859-2 网络和聊天文本 步骤三：获取即时消息聊天会话语料库，代码如下所示： 运行结果： from nltk.corpus import nps_chat chatroom = nps_chat.posts(10-19-20s_706posts.xml) chatroom[123] [i, do, nt, want, hot, pics, of, a, female, ,, I, can, look, in, a, mirror, .] 布朗语料库 步骤一：查看语料库信息，实现代码如下所示： 运行结果： from nltk.corpus import brown print(brown.categories()) [adventure, belles_lettres, editorial, fiction, government, hobbies, humor, learned, lore, mystery, news, religion, reviews, romance, science_fiction] 函数 common_contexts 当需要搜索共用多个词汇的上下文，而不是检索某个单词时，可使用common_contexts函数处理，可输入代码 mon_contexts([a,very])，运行效果如下所示： 函数 dispersion_plot 判断词在文本中的位置，从开头算 起有多少次出现，可以用离散图表示 ，每一列代表一个单词，每一行代表 一个文本。 使用代码：text1.dispersion_plot ([“The”,“Moby”,“Dick”, “America”]） 运行效果如图所示： 函数 FreqDist() 对文本中词汇分布进行统计时，可以使用使用函数FreqDist进行处理，实现代码：fdist1=FreqDist(text1)， 通过统计结果可以发现词汇的分布情况，运行结果如下所示： 还可以指定查询某个词的使用频率，如查看“the”的使用频率，实现代码为：fdist1[the]，运行结果如下所示： 函数 FreqDist() 还可以查看指定个数常用词的累积频率图，实现代码：fdist1.plot(50,cumulative=True)，查看text1 中 50 个常用词的累积频率图，运行结果如图所示： NLTK 频率分布类中定义的函数 NLTK 频率分布类中定义的 常用函数如表所示： 词汇比较运算 词汇比较运算常用的函数 如表所示（注意：s 代表 字符串）： 自然语言处理工具包NLTK 0 2 Stanford NLP简介 Stanford NLP：由斯坦福大学的 NLP 世界知名研究小组开发，由 Java 实现的 NLP 开源工具包，对 NLP 领域的各类问题提供了解决办