Python自然语言处理 课件 电子03-4 -综合案例：走进红楼梦.pptx

综合案例：走进红楼梦Python自然语言处理第三章 CONTENT目录 01语料库基础03获取语料库02自然语言处理工具包NLTK04综合案例：走进红楼梦 课前回顾国内外著名语料库网络数据获取NLTK获取语料库 综合案例：走进红楼梦0 4数据采集与预处理构建本地语料库语料操作 数据采集和预处理本实验使用红楼梦作为语料，通过网络数据获取的方式采集红楼梦的相关数据，但由于该书文字太多，所以，获取时，可每10万字保存到一个文件中，同时，还需将完整内容单独保存在一个文件中。实现代码如下所示：import re,nltkimport mathimport codecsfrom urllib.request import urlopenurl=/cache/epub/24264/pg24264-images.htmlhtml=urlopen(url).read()html=html.decode(utf-8)#完整内容with codecs.open(/home/ubuntu/dict/hlm.txt, w, utf-8) as f: f.write(html[2186:len(html)]) #2186字符后是后楼梦正文 f.close()#每10万字一个文件for index in range(math.ceil((len(html)-2186)/100000)): f