Python网络爬虫试卷答案.pdfVIP

答案：

一、选择题

1-5:DAAAB6-10：DDBDD11-15：DDDDA16-20：DBBDC

21-25：BAABD26-30：ADCAA

二、填空题

1、//

2、@[属性名=]

3、GET、POST、DELETE.PUT、HEAD、TRACE、OPTIONS.CONNECT(三种即可)

4、设置请求头

5、pipinstllgeoip

6、缩

7、否

8、bs4

9、diet

10ipconfig

三、问答题

1题答案：

client-pymongo.MongoCRedis是一个开源(BSD许可｝的，内存中的数据结构存储系

统，它可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构，如字符串(strings),

散列(hshes),列表(lists),集合(sets),有序集合(sortedsets)与范围查询,bitmps,

hyperloglogs和地理空间(geosptil)索引半径查询。Redis内置了复制(repliction),LUA

脚本(Luscripting),LRU驱动事件(LRUeviction),事务(trnsctions)和不同级别的磁盘

持久化(persistence),并通过Redis哨兵(Sentinel)和自动分区(Cluster)提供高可用性

(highvilbility)

2题答案：

反爬虫策略之Heders：

Heders是指网络请求的头部信息，也就是网络请求过程中所携带的描述信息，允许您

对HTTP请求和响应头执行各种操作。

基于Heders的反爬虫策略常见的为：根据User-Agent识别浏览器行为；根据Cookie

识别用户信息：根据Referer识别链路、根据Content-Type识别数据类型。

反爬虫策略之Cookie：

Cookie是请求头的一部分，同时也web浏览器的凭证，根据实际情况，有时候要指定

Cookie参数。requests将Cookie从中剥离出来,可以使用cookies参数直接指定。

在爬取有些网页是要求登录之后的才能爬取，所以要和服务器一直保持登录状态，有时

的策略不都指定cookies,而是会使用session来完成,Session提供的API和requests是

一样的，并且可将Cookie自动保存。

反爬虫策略之Proxies：

服务器会针对用户操作对用户行为行记录，当根据规则匹配识别为程序操作，可能会

行IP封禁的操作。当我们发现IP已经被封了，此IP就再也访问不到目标网站了。

为了面对封禁IP的操作，我们可以：做更完善的设置，避免浏览器识别并封禁IP;使用代

理IP,隐藏真实IP；设置好访问间隔，避免服务器压力过大

四：编程题

frombs4importBeautifulSoup

importre#正则表达式,进行文字匹配

importurllib.request?urllib.error

importxlwt

defmain():

baseurl=https://movie.douban.om/top250?start=

datalist=getData(baseurl)

#savepath=豆瓣电影Top250.xls”

dbpath=movie.db

*/A*.

savepath=G:/war/doub