网络爬虫的发展趋势.docVIP

PAGE PAGE 18 1. 概述 1.1课题背景 网络爬虫，是一种程序或者脚本，通过一定的规则算法实现自动化爬取万维网的内容。通常也有一些不经常使用的叫法比如自动索引，模拟程序，蠕虫或者蚂蚁等。 网络的搜索功能始于对信息内容的需求带来的快速发展的互联网。快速发展的搜索引擎,变化越来越高的网民需求,网络信息搜索已经成为网民们日常的行为内容。怎么样让搜索引擎能快速满足网民们的需求。最开始的检索功能是通过索引站的方式实现，而后有了网络机器人。但是，常用性的这些搜索引擎也有它们自身的缺点。那就是在不同的环境中用户通常有着不一样的搜索需求和使用目的，而通用搜索引擎返回的信息中有一