第1章 爬虫初步.PDFVIP

r e t p 第 1 章 a h 爬虫初步 1c 本章介绍爬虫的相关概念与基本运用，包括爬虫在大数据时代所占据的地位和发挥的作用， 还有用于开发爬虫的语言Python ，以及在Python 下的一些爬虫框架。 另外，爬虫涉及的技术领域很多，运用的技术也非常庞杂，从基本的网络访问到复杂的机 器学习，可能会让初入门径者有望而却步的想法。为了能让读者对虫术保持一颗好奇的心，不 至于被知识的海洋淹没，本章的最后一节提供了一份学习虫术的详细技术路线图，按照实际的 学习与运用的阶段划分了需要涉猎与掌握的各种相关技术。 本章最后从实践出发，通过简单的爬虫浅尝一下虫术，希望通过实践能让读者对这门技术 有一个基本的概念与认识。 1.1 爬虫与大数据 网络爬虫是一种伴随着互联网诞生与演化的“古老”的网络技术，我记得第一次听到“爬虫” 这个词还是在早年的雅虎网站上（谷歌还没出生）。从那时起，搜索引擎就是运用网络爬虫在各 类网络资源中爬取关键字或者一些简单的内