基于python的scrapy框架爬取图片.docx

PAGE11

PAGE11

题目： 基于Python的Scrapy框架爬取图片

摘要

随着当今世界互联网技术的快速发展，互联网产生的数据量正逐渐随着互联网用户无休止的增加而迸发了爆炸性的增长趋势，世界已然进入大数据时代。面对着如此庞大的数据量，如何在互联网上查询得到的海量信息中获得用户所需要的有价值的数据，已经成为一个需要处理的问题。而通用搜索引擎所搜寻到的内容经常会包含大量用户不关心的数据。为了处理这个问题，一个可操控的爬虫有着无可代替的重要意义。

网络爬虫能够轻松地将网络上的数据下载并保存到本地，这也是它最主要的功能。由于这一特性，它经常被使用在各种搜索引擎