seminar网络数据获取.pptx

网络数据获取入门以新浪微博/知乎/SMZDM为例Python实现@胡科林21爬虫有何用？什么是爬虫？目录CONTENTS43爬数据实例如何爬数据？56进阶爬虫小结1什么是爬虫爬虫有何用如何爬数据爬数据实例小结进阶爬虫网络爬虫（Computer Robot ）一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。（百度百科）2什么是爬虫爬虫有何用如何爬数据爬数据实例小结进阶版爬虫网络爬虫（Computer Robot ）狭义上指遵循标准的 http 协议，利用超链接和 Web 文档检索方法遍历万维网的软件程序；而广义的定义则是能遵循 http 协议，检索 Web 文档的脚本、软件都称之为网络爬虫。3什么是爬虫爬虫有何用如何爬数据爬数据实例小结进阶版爬虫Review浏览器访问服务器的过程在用户访问网页时，不论是通过IP，还是点击链接，浏览器向WEB服务器发出了一个Http Request），WEB服务器接收到浏览器的请求之后，响应客户端的请求，发回相应的响应信息（Http Response），浏览器解析引擎，排版引擎分析返回的内容，呈现给用户。交互的过程中，HTTP请求和响应时发送的都是一个消息结构。4什么是爬虫爬虫有何用如何爬数据爬数据实例小结进阶版爬虫爬虫可以做哪些事？5什么是爬虫爬虫有何用如何爬数据爬数据实例小结进阶版爬虫6什么是爬虫爬虫有何用如何爬数据爬数据实例小结进阶版爬虫分情况处理7什么是爬虫爬虫有何用如何爬数据爬数据实例小结进阶版爬虫有API接口（Application Programming Interface,应用程序编程接口）是一组定义、程序及协议的集合，以实现计算机软件之间的便捷相互通信，而又无需访问源码，或理解内部工作机制的细节。8什么是爬虫爬虫有何用如何爬数据爬数据实例小结进阶版爬虫有API接口9什么是爬虫爬虫有何用如何爬数据爬数据实例小结进阶版爬虫有API接口10什么是爬虫爬虫有何用如何爬数据爬数据实例小结进阶版爬虫有API接口11什么是爬虫爬虫有何用如何爬数据爬数据实例小结进阶版爬虫有API接口12什么是爬虫爬虫有何用如何爬数据爬数据实例小结进阶版爬虫有API接口13什么是爬虫爬虫有何用如何爬数据爬数据实例小结进阶版爬虫使用API问题14什么是爬虫爬虫有何用如何爬数据爬数据实例小结进阶版爬虫无API接口15什么是爬虫爬虫有何用如何爬数据爬数据实例小结进阶版爬虫无API接口HTTP请求：RequestsHTTP客户端库，跟官方urllib库类似，简单易用解析HTML文件：Beautifulsoup导航，查找，修改html文档，以抓取特定的网页信息，简单易用16什么是爬虫爬虫有何用如何爬数据爬数据实例小结进阶版爬虫无API接口17什么是爬虫爬虫有何用如何爬数据爬数据实例小结进阶版爬虫无API接口18什么是爬虫爬虫有何用如何爬数据爬数据实例小结进阶版爬虫无API接口19什么是爬虫爬虫有何用如何爬数据爬数据实例小结进阶版爬虫无API接口20什么是爬虫爬虫有何用如何爬数据爬数据实例小结进阶版爬虫无API接口21什么是爬虫爬虫有何用如何爬数据爬数据实例小结进阶版爬虫无API接口SMZDM监控脚本22什么是爬虫爬虫有何用如何爬数据爬数据实例小结进阶版爬虫使用爬虫问题23什么是爬虫爬虫有何用如何爬数据爬数据实例小结进阶版爬虫24总体，目的，z最开始交代，大前提，来龙去脉，完整的结构问清要求，确认自己明白了，问，思考，形成固定流程做事要有反馈，快论文目录网络爬虫，即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。狭义上指遵循标准的 http 协议，利用超链接和 Web 文档检索方法遍历万维网的软件程序；而广义的定义则是能遵循 http 协议，检索 Web 文档的软件都称之为网络爬虫。程序内部的一些功能有限地向外开放分享功能验证码、代理服务器等等验证码、代理服务器等等