网络爬虫优质课件.pptx

Presentation 网络爬虫入门|以华师图书馆/豆瓣为例 (Python实现) East China Normal University 2022年5月24日 CONTENTS 目录 1 什么是爬虫 2 背景意义 3 三步走 4 模拟登陆 5 豆瓣抓取 6 小结 2022年5月24日 East China Normal University 网络爬虫 网络爬虫：是一个功能很强的自动提取网页的程序/脚本，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成部分。 防爬虫：爬虫行为分为搜索引擎爬虫及扫描程序爬虫，可屏蔽特定的搜索引擎爬虫节省带宽和性能，也可屏蔽扫描程序爬虫，避免网站被恶意抓取页面。（网站洁癖） 2022年5月24日 East China Normal University 选题背景 三步走 Review 模拟登陆 豆瓣抓取 小结 在我们日常上网浏览网页的时候，经常会看到一些好看的图片，我们就希望把这些图片保存下载，或者用户用来做桌面壁纸，或者用来做设计的素材。 　　我们最常规的做法就是通过鼠标右键，选择另存为。但有些图片鼠标右键的时候并没有另存为选项，还有办法就通过就是通过截图工具截取下来，但这样就降低图片的清晰度。好吧～！其实你很厉害的，右键查看页面源代码。 我们再来看下知乎神贴~ 可以干哪些有趣的事情？ 1 2022年5月24日 East China Normal University 选题背景 三步走 Review 模拟登陆 豆瓣抓取 小结 [ 第一步 ] 爬哪里（URL）：获取整个页面数据 [第二步 ] [第三步 ] 怎么爬（Method）:非常强大的正则表达式，以及许多开源库（urllib,BeautifulSoup） 我们可以通过python 来实现这样一个简单的爬虫功能，把我们想要的代码爬取到本地。下面就看看如何使用python来实现这样一个功能。 一般我们三步走！ 三步走 2 2022年5月24日 East China Normal University 爬什么（interesting）：你对什么感兴趣 选题背景 三步走 Review 模拟登陆 豆瓣抓取 小结 Review 2022年5月24日 East China Normal University 浏览器访问 服务器的过程 在用户访问网页时，不论是通过、IP，还是点击链接，浏览器向WEB服务器发出了一个Http Request），WEB服务器接收到浏览器的请求之后，响应客户端的请求，发回相应的响应信息（Http Response），浏览器解析引擎，排版引擎分析返回的内容，呈现给用户。交互的过程中，HTTP请求和响应时发送的都是一个消息结构。 实例：（华东师范大学图书馆） 选题背景 三步走 Review 模拟登陆 豆瓣抓取 小结 代码分析：模拟登陆华东师范大学图书馆 爬虫结果：借阅历史.txt 模拟登陆华东师范大学图书馆\并爬取借阅历史 4 2022年5月24日 East China Normal University 当你要模拟登录一个网站时，首先要搞清楚网站的登录处理细节（发了什么样的数据，给谁发等...）。通过抓取http数据包来分析该网站的登录流程。同时，我们还要分析抓到的post包的数据结构和header，要根据提交的数据结构和heander来构造自己的post数据和header。并发送给指定url。我们通过urllib2等几个模块提供的API来实现request请求的发送和相应的接收。 大部分网站登录时需要携带cookie，所以我们还必须设置cookie处理器来保证cookie 选题背景 三步走 Review 模拟登陆 豆瓣抓取 小结 抓取豆瓣上计算机类图书评分最高的top150本书籍，并保存在本地Excel中。 2022年5月24日 East China Normal University 课题背景 三步走 Review 模拟登陆 豆瓣抓取 小结 小结 7 2022年5月24日 使用代理服务器 伪装成浏览器访问 反”反盗链” 多线程并发抓取 验证码的处理 代码简单，使用方便，性能也不俗，可谓居家旅行，杀人放火（黑网站），咳咳，之必备神器。 East China Normal University 压缩，超时设置 多代理自动选择 课题背景 三步走 Review 模拟登陆 豆瓣抓取 小结 小结 7 2022年5月24日 使用代理服务器 伪装成浏览器访问 反”反盗链” 多线程并发抓取 验证码的处理 代码简单，使用方便，性能也不俗，可谓居家旅行，杀人放火（黑网站），咳咳，之必备神器。 East China Normal Univer