Python爬虫基础教程：从零开始学习爬虫技术.pdfVIP

第十七讲

爬虫基础知识

什么是爬虫

简单来说，爬虫就是获取网页并提取和保存信息的自动化程序，爬虫能够自动请求网页，并将所需要

的数据抓取下来。通过对抓取的数据进行处理，从而提取出有价值的信息进行使用。

为什么用Python做爬虫

首先您应该明确，不止Python这一种语言可以做爬虫，诸如Java、C/C++、PHP都可以用来写爬虫

程序，但是相比较而言Python做爬虫是最简单的。下面对它们的优劣势做简单对比：

Java也经常用来写爬虫程序，但是Java语言本身很笨重，代码量很大，因此它对于初学者而言，

的门槛较高；C/C++运行效率虽然很高，但是学习和开发成本高。写一个小型的爬虫程序就可能花费很长

的时间，PHP：对多线程、异步支持不是很好，并发处理能力较弱。

而Python语言，其语法优美、代码简洁、开发效率高、支持多个爬虫模块，比如urllib、requests、

Bs4、lxml等。Python的请求模块和解析模块丰富成熟，并且还了强大的Scrapy框架，让编写爬虫

程序变得更为简单。因此使用Python编写爬虫程序是个非常不错的选择。

编写爬虫注意事项

爬虫是一把双刃剑，它给我们带来便利的同时，也给