大数据导论 第3版 Chap3 知识拓展.docx

ADDINCNKISM.UserStyle知识拓展一：爬虫原理、分类与常用工具

来源：/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB/5162711

一、爬虫的工作原理

1.数据的来源

去第三方的公司购买数据(比如企查查)

去免费的数据网站下载数据(比如国家统计局)

通过爬虫爬取数据

人工收集数据(比如问卷调查)

在上面的来源中，人工的方式费时费力，免费的数据网站上的数据质量不佳，很多第三方的数据公司他们的数据来源往往也是爬虫获取的，所以获取数据最有效的途径就是通过爬虫爬取。

2.什么是爬虫

将互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而