Python网络爬虫实习报告.docxVIP

Python 网络爬虫实习报告 Python 网络爬虫实习（报告） 目录 选 题 背 景 - 2 - 爬 虫 原 理 - 2 - 爬 虫 历 史 和 分 类 - 2 - 常 用 爬 虫 框 架 比 较 - 5 - 数 据 爬 取 实 战 （ 豆 瓣 网 爬 取 电 影 数 据 ） - 6 - 分 析 网 页 - 6 - 爬 取 数 据 - 7 - 数 据 整 理 、 转 换 - 10 - 数 据 保 存 、 展 示 - 12 - 技 术 难 点 关 键 点 - 12 - 六 、 总 结 . - 14 - - 0 - Python 网络爬虫实习（报告） 选题背景 爬虫原理 爬虫历史和分类 常用爬虫框架比较 Scrapy 框架:Scrapy 框架是一套比较成熟的 Python 爬虫框架，是使 用 Python 开发的快速、高层次的信息爬取框架，可以高效的爬取 web 页面并提取出结构化数据。Scrapy 应用范围很广，爬虫开发、数 据挖掘、数据监测、自动化测试等。 Crawley 框架:Crawley 也是 Python 开发出的爬虫框架，该框架致力 于改变人们从互联网中提取数据的方式。 Portia 框架:Portia 框架是一款允许没有任何编程基础的用户可视化 地爬取网页的爬虫框架。 newspaper 框架:newspaper 框架是一个用来提取新闻、文章以及内容 分析的 Python 爬虫框架。 Python-goose 框架：Python-goose 框架可提取的信息包括：1文章 主体内容;2文章主要图片;3文章中嵌入的任 heYoutube/Vimeo 视 频;4元描述;5元标签 - 1 - Python 网络爬虫实习（报告） 五、数据爬取实战（豆瓣网爬取电影数据） 1 分析网页 # 获取 html 源代码 def __getHtml(): data = [] pageNum = 1 pageSize = 0 try: while (pageSize = 125): # headers = {User-Agent:Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11, # Referer:None #注意如果依然不能抓取的话，这里 可以设置抓取网站的 host # } # opener = urllib.request.build_opener() # opener.addheaders = [headers] url = /top250?start= + str(pageSize) + filter= + str(pageNum) # data[html%s % i ]=urllib.request.urlopen(url).read().decode(utf-8) - 2 - Python 网络爬虫实习（报告） data.append(urllib.request.urlopen(url).read().decode(utf- 8)) pageSize += 25 pageNum += 1 print(pageSize, pageNum) except Exception as e: raise e return data 2 爬取数据 def __getData(html): title = []  # 电影标题 #rating_num = [] # 评分 range_num = []  # 排名 #rating_people_num = [] # 评价人数 movie_author = []  # 导演 data = {} # bs4 解析 html soup = BeautifulSoup(html, html.parser) for li in soup.find(ol, attrs={class: grid_view}).find_all(li): - 3 - Python 网络爬虫实习（报告） title.append(li.find(span, class_=title).text) #rating_num.append(l