网络爬虫-Python与数据分析.pdfVIP

网络爬虫, Python和数据 分析 王澎 中国科技大学 什么是网络爬虫？ • 网络爬虫是一个自动提取网页的程序，它为搜索 引擎从万维网上下载网页，是搜索引擎的重要组 成。传统爬虫从一个或若干初始网页的URL开始， 获得初始网页上的URL ，在抓取网页的过程中， 不断从当前页面上抽取新的URL放入队列,直到满 足系统的一定停止条件 爬虫有什么用？ • 做为通用搜索引擎网页收集器。（google,baidu ） • 做垂直搜索引擎.(找工作的搜索引擎: ,数据来源于： , , 等等) • 科学研究：在线人类行为，在线社群演化，人类 动力学研究，计量社会学，复杂网络，数据挖掘， 等领域的实证研究都需要大量数据，网络爬虫是 收集相关数据的利器。 • 偷窥，hacking ，发垃圾邮件…… （《google hack》…. ） 爬虫是搜索引擎的第一步 也是最容易的一步