Python网络爬虫试卷答案.docx

答案：

选择题

1-5：DAAAB6-10：DDBDD11-15：DDDDA16-20：DBBDC

21-25：BAABD26-30：ADCAA

填空题

//

2、@[属性名=]

3、GET、POST、DELETE、PUT、HEAD、TRACE、OPTIONS、CONNECT（三种即可）

4、设置请求头

pipinstallgeoip

6、缩进

7、否

8、bs4

9、dict

10、ipconfig

问答题

1题答案：

client=pymongo.MongoCRedis是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构，如字符串（strings），散列（hashes），列表（lists），集合（sets），有序集合（sortedsets）与范围查询，bitmaps，hyperloglogs和地理空间（geospatial）索引半径查询。Redis内置了复制（replication），LUA脚本（Luascripting），LRU驱动事件（LRUeviction），事务（transactions）和不同级别的磁盘持久化（persistence），并通过Redis哨兵（Sentinel）和自动分区（Cluster）提供高可用性（highavailability）

2题答案：

反爬虫策略之Headers：

Headers是指网络请求的头部信息，也就是网络请求过程中所携带的描述信息，允许您对HTTP请求和响应头执行各种操作。

基于Headers的反爬虫策略常见的为：根据User-Agent识别浏览器行为；根据Cookie识别用户信息；根据Referer识别链路、根据Content-Type识别数据类型。

反爬虫策略之Cookie：

Cookie是请求头的一部分，同时也web浏览器的凭证，根据实际情况，有时候要指定Cookie参数。requests将Cookie从中剥离出来，可以使用cookies参数直接指定。

在爬取有些网页是要求登录之后的才能爬取，所以要和服务器一直保持登录状态，有时的策略不都指定cookies，而是会使用session来完成，Session提供的API和requests是一样的，并且可将Cookie自动保存。

反爬虫策略之Proxies：

服务器会针对用户操作对用户行为进行记录，当根据规则匹配识别为程序操作，可能会进行IP封禁的操作。当我们发现IP已经被封了，此IP就再也访问不到目标网站了。

为了面对封禁IP的操作，我们可以：做更完善的设置，避免浏览器识别并封禁IP；使用代理IP，隐藏真实IP；设置好访问间隔，避免服务器压力过大

四：编程题

frombs4importBeautifulSoup#网页解析，获取数据

importre#正则表达式，进行文字匹配

importurllib.request,urllib.error#制定URL，获取网页数据

importxlwt#进行excel操作

defmain():

baseurl=/top250?start=

#爬取网页

datalist=getData(baseurl)

#savepath=豆瓣电影Top250.xls

dbpath=movie.db

#保存数据

savepath=G:/war/douban/豆瓣电影Top250-4.xls

saveData(datalist,savepath)

#saveData2DB(datalist,dbpath)

#askURL(/top250?start=)

#影片详情链接的规则

findLink=pile(rahref=(.*?))#创建正则表达式对象，表示规则（字符串的模式）r:忽视所有的特殊符号

#影片图片

findImgSrc=pile(rimg.*src=(.*?),re.S)#re.S让换行符包含在字符中

#影片片名

findTitle=pile(rspanclass=title(.*)/span)

#影片评分

findRating=pile(rspanclass=rating_numproperty=v:average(.*)/span)

#找到评价人数

findJudge=pile(rspan(\d*)人评价/span)

#找到概况

findInq=pile(rspa