Scrapy爬虫搜索网站.docx

PAGE8

PAGE7

PAGE1

在过去的几十年中，计算机行业中传统的搜索引擎蓬勃发展，例如Google，Baidu，Bing等，人们可以很容易地检索所需求的信息，但当人们需要特定和精细的信息时，使用此类搜索引擎会显得力不从心，这是因为传统搜索引擎仅仅能模糊地匹配的用户需求。在这个互联网技术蓬勃发展的时代，数据指数级激增，生活与数据成为了不可分割的整体，数据的价值从此由先前量的积累，一跃表现为质的飞跃。所以，对数据的采集显得尤为重要，采集是大数据价值挖掘最重要的一环，正是有了数据采集，才有了进一步的分析挖掘，从而对为我们的生活进一步指导[1]。

人们对