基于Scrapy框架的爬虫系统开发.docx

摘要

在过去的几十年中，计算机行业中传统的搜索引擎蓬勃发展，例如Google，Baidu，Bing等，人们可以很容易地检索所需求的信息，但当人们需要特定和精细的信息时，使用此类搜索引擎会显得力不从心，这是因为传统搜索引擎仅仅能模糊地匹配的用户需求。在这个互联网技术蓬勃发展的时代，数据指数级激增，生活与数据成为了不可分割的整体，数据的价值从此由先前量的积累，一跃表现为质的飞跃。所以，对数据的采集显得尤为重要，采集是大数据价值挖掘最重要的一环，正是有了数据采集，才有了进一步的分析挖掘，从而对为我们的生活进一步指导[1]。人们对特定和更精细数据的需求日益增长，爬虫应运而生。爬虫，也常常被成