项目五数据采集5.1数据采集原理13课件.pptxVIP

项目五数据采集5.1数据采集原理主讲人：王艳

目录CONTENT虫基本流程数据采集必备知识数据采集基本概念数据采集的法律问题

01数据采集基本概念网络爬虫网络爬虫又称网络蜘蛛，可以自动化浏览网络网页中的信息，并且能够很方便地把这些信息保存下来。

01数据采集基本概念数据采集的思路

02数据采集的法律问题数据采集可能会有以下常见的法律问题数据的使用骚扰问题隐私的泄露

03数据采集必备知识URLInternet上的每一个网页都具有一个唯一的名称标识，通常称之为URL（UniformResourceLocator,统一资源定位器）。它是www的统一资源定位标志，简单地说URL就是web地址，俗称“网址”。HTTP和HTTPSHTTP，超文本传输协议（HyperTextTransferProtocol），HTTPS，全称是HyperTextTransferProtocoloverSecureSocketLayer

03数据采集必备知识网页的请求过程网页的构成HTML（HyperTextMarkupLanguage）、CSS（CascadingStyleSheets）、JavaScript（脚本语言）

03数据采集必备知识爬虫的基本流程1.发起请求：通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers、data等信息，然后等待服务器响应。这个请求的过程就像我们打开浏览器，在浏览器地址栏输入网址：，然后点击回车。这个过程其实就相当于浏览器作为一个浏览的客户端，向服务器端发送了一次请求。2.获取响应内容：如果服务器能正常响应，我们会得到一个Response，Response的内容便是所要获取的内容，类型可能有HTML、Json字符串，二进制数据(图片，视频等）等类型。这个过程就是服务器接收客户端的请求，进过解析发送给浏览器的网页HTML文件。

04爬虫基本流程爬虫的基本流程3.解析内容：得到的内容可能是HTML，可以使用正则表达式，网页解析库进行解析。也可能是Json，可以直接转为Json对象解析。可能是二进制数据，可以做保存或者进一步处理。这一步相当于浏览器把服务器端的文件获取到本地，再进行解释并且展现出来。4.保存数据：保存的方式可以是把数据存为文本，也可以把数据保存到数据库，或者保存为特定的jpg，mp4等格式的文件。这就相当于我们在浏览网页时，下载了网页上的图片或者视频。

04爬虫简单实例

谢谢观看！