基于Python实现爬虫及数据分析教程.pdfVIP

爬⾍的基本原理

⽹上关于爬⾍的多如⽜⽑，但很少有看到爬⾍，

要有也是基于搜狗的，不过搜狗的数据有诸多弊端，⽐如⽂

章是临时的，⽂章没有阅读量等指标，所以写⼀个⽐较系统

的关于如何通过⼿机客户端利⽤Python爬⽂章的，

并对⽂章做数据分析，为更好的运营决策。

爬⾍的基本原理

所谓爬⾍就是⼀个⾃动化数据⼯具，你只要告诉它要哪些数

据，丢给它⼀个URL，就能⾃动地抓取数据了。其背后的基本原理

就是爬⾍程序向⽬标服务器发起HTTP请求，然后⽬标服务器返回

响应结果，爬⾍客户端收到响应并从中提取数据，再进⾏数据、

数据⼯作。

爬⾍的基本流程

爬⾍流程也是⼀个HTTP请求的过程，以浏览器⼀个⽹址为

例，从⽤户输⼊URL开始，客户端通过DNS解析查询到⽬标服务

器的IP地址，然后与之建⽴TCP连接，连接成功后，浏览器构造⼀

个HTTP请求发送给服务器，服务器