Python爬虫实例教程16. 使用代理IP.pptx

Python爬虫实例教程 讲师：日月光华 使用代理IP 答疑群：945189407 什么是代理IP 所谓代理IP，就是代理用户去取得网络信息的IP地址。代理IP可以帮助爬虫掩藏真实身份，突破IP访问限制，隐藏爬虫的真实IP，从而避免被网站反爬虫禁止。  Requests中使用IP代理的方法 import requests proxies = { http: 0:3128, https: 0:1080, } requests.get(, proxies=proxies)  如何获得代理IP 一是从网上寻找免费的代理IP。有很多提供免费代理IP的网站，如西刺代理等，我们可以使用这些网站提供的免费代理IP。使用免费代理的缺点很多，从实用性、稳定性以及安全性来考虑，不推荐大家使用免费的代理IP。网上公布的代理IP不一定是可用的，很可能在使用过程中会发现代理IP不可用或者已失效的情况。 二是购买代理IP，有很多提供这方面服务的网站，大家可以搜索看一下。一般购买的代理IP可用性和稳定性都相对较好，缺点是需要一定的成本。我们在练习写爬虫的时候，可以使用免费代理，如果在生产环境中，免费代理IP很难满足需求，最好是购买高质量的代理IP。 谢谢大家 讲师：日月光华 答疑群：945189407