手把手教你用Python搭建IP代理池，轻松破解请求频率限制反爬虫~.docxVIP

手把手教你用Python搭建IP代理池，轻松破解恳求频率限制反爬虫~ 志斌 Python爬虫与数据挖掘 2021-09-10 点击上方“Python爬虫与数据挖掘”，进行关注 回复“书籍”即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 郎骑竹马来，绕床弄青梅。? 大家好，我是志斌~ 我们所写的爬虫，它对服务器发出的网络恳求频率要比正常用户的高的多，从而开发者可以将恳求频率过高的用户视为爬虫程序，从而来限制爬虫程序。 今日志斌就来给大家共享一下，如何用Python搭建一个IP代理池，来破解服务器通过对用户恳求频率进行限制的反爬虫。 01 原理 由于客户端的IP地址是独一的，所以开发者便将IP地址作为客户端的身份标识。 服务器可以依据客户端的IP的访问次数来标识记录，从而计算出它的恳求频率。然后，对于恳求频率过高的客户端进行反爬虫限制。 02 破解 其实破解恳求频率限制反爬虫是格外简约的，由于Requests库中就有一个proxies参数，就是特地为使用IP来预备的，具体使用方法如下： import requestsproxies = { http: 0:3128, https: 0:1080,}requests.get(, proxies=proxies) 03 搭建IP代理池 搭建一个IP代理池分为三个模块，分别是爬取模块、检测模块、存储模块。下面让我们来看看这三个模块要怎样写吧。 01 ?爬取模块 我们此次是在百度上搜索的一个免费的IP代理网站对其代理IP进行爬取。 我们打开开发者模式，然后输入对网页进行观看，我们发觉数据存储在源网页中。 既然我们已经发觉数据的存储位置和存储方式了，那么就可以发起恳求，提取数据了，代码如下： import requestsimport reheaders = { Connection: keep-alive, sec-ch-ua: Chromium;v=92, Not A;Brand;v=99, Google Chrome;v=92, sec-ch-ua-mobile: ?0, Upgrade-Insecure-Requests: 1, User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36, Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9, Sec-Fetch-Site: same-origin, Sec-Fetch-Mode: navigate, Sec-Fetch-User: ?1, Sec-Fetch-Dest: document, Referer: /free/inha/1/, Accept-Language: zh-CN,zh;q=0.9,}for page in range(1,50): response = requests.get(f/free/inha/{page}/, headers=headers, cookies=cookies) ip_list = re.findall(data-title=IP(.*?),response.text) 02 ?检测模块 由于我们是爬取的免费的IP，所以我们要对其进行检测，看看能否失效了，到底廉价没好货，好货不廉价么~ 检测代码如下： list = []for ip in ip_list: try: response = requests.get(, proxies=ip, timeout=2) if response.status_code == 200: list.append(ip) except: pass else: print(ip, 检测通过) 03 ?存储模块 我这里是将检测出来可以使用的IP代理存到了csv文件中去，大家也可以尝试使用其他类型的存储，代码如下： import csvwith open(ip.csv,a,newline=) as f: writer = csv.writer(f) writer.writerow(list) 03