网络空间安全概论 实验7网络爬虫 爬取TOP250电影.docx

题目概述

实验题目：实验七网络爬虫。

实验要求与目的：熟悉爬虫工作原理，用相关的python工具包实现网络爬虫。

实验内容：爬取TOP250电影的所有短评以及电影的相关数据。爬取TOP250豆瓣电影所有短评，以及电影的相关信息，包括电影类型，上映时间，以及演员列表等信息。

开发平台及开源工具

本次信息检索实验使用的是python语言，开发工具为PyCharm2021.3，操作系统为Windows10和Ubuntu18.04服务器，第三方库均使用pip安装。

本次实验使用的第三方库主要有selenium(自动登录与信息爬取)、matplotlib(词频统计可视化)、numpy(矩阵处理)、jieba(分词)等。

详细设计

文件说明

douban_movies.py

主要就是构造TOP250排行榜每一页的链接，然后解析每一页的电影名和电影页链接，然后发出爬取电影页信息的Request，之后利用xpath或者pyquery正常解析网页信息即可。

defstart_requests(self):

base_url=/top250?start=$filter=

forstartinrange(10):

url=str.replace(base_url,$,str(start*25))

(url)

yieldRequest(url,callback=self.parse_top250)

defparse_top250(self,response):

top250_movie_info_item=TOP250MovieInfoItem()

html=response.text

doc=pq(html)

all_movies=doc(#contentdivdiv.articleollidiv)

formovieinall_movies.items():

sleep_time=random.uniform(0.5,1)

time.sleep(sleep_time)

movie_link=movie(div.hda).attr(href)

title=movie(div.hdaspan.title).text()

top250_movie_info_item[title]=title

top250_movie_info_item[movie_link]=movie_link

(top250_movie_info_item)

yieldtop250_movie_info_item

#然后发出爬取每个movie的具体信息的request

(movie_link)

yieldRequest(movie_link,callback=self.parse_movie_item)

pipeline.py

#因为在process_item中会根据不同的Item进行不同的查询防止爬取重复的信息，所以对不同的collection设置了不同的索引，毕竟最后爬取到的短评有33万多条，设置一下索引对速度还是有提升的

defopen_spider(self,spider):

self.client=pymongo.MongoClient(self.mongo_uri)

self.db=self.client[self.mongo_db]

self.db[TOP250MovieInfoItem.collection].create_index([(movie_link,pymongo.ASCENDING)])

self.db[MovieInfoItem.collection].create_index([(movie_link,pymongo.ASCENDING)])

self.db[CommentInfoItem.collection].create_index([(commenter_link,pymongo.ASCENDING),(commen