常用的Python爬虫技巧.pdfVIP

常用的 Python 爬虫技巧 用 python 也差不多一年多了， python 应用最多的场景还是 web 快速开发、爬虫、自动化运维：写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简 单验证码识别脚本。爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。 作者： j_hao104 来源： 36 大数据 |2016-10-20 20:21 收藏 分享 用 python 也差不多一年多了， python 应用最多的场景还是 web 快速开发、爬虫、自动化运维：写过简单网站、写过自动发帖脚本、写过收发邮件 脚本、写过简单验证码识别脚本。 爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。 1、基本抓取网页 get 方法 post 方法 2、使用代理 IP 在开发爬虫过程中经常会遇到 IP 被封掉的情况，这时就需要用到代理 IP; 在 urllib2 包中有 ProxyHandler 类，通过此类可以设置代理访问网页，如下代码片段： 3、Cookies 处理 cookies 是某些网站为了辨别用户身份、进行 sessi