网络爬虫技术的概述与研究.docVIP

网络爬虫技术的概述与研究 摘要 网络爬虫，又被称为网页蜘蛛，网络机器人，随着网络的迅速发展，成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。 (Search Engine)，例如传统的AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。(或称为服务方式)。 ·第二部分是存有该资源的主机IP地址(有时也包括端口号)。 ·第三部分是主机资源的具体地址，如目录和文件名等。 第一部分和第二部分用“://”符号隔开，第二部分和第三部分用“/”符号隔开。第一部分和第二部分是不可缺少的，第三部分有时可以省略。 用URL表示文件时，服务器方式用file表示，后面要有主机IP地址、文件的存取路径(即目录)和文件名等信息。有时可以省略目录和文件名，但“/”符号不能省略。例如file:///pub/files/foobar.txt 爬虫最主要的处理对象就是URL，它根据URL地址取得所需要的文件内容，然后对它进行进一步的处理。 2、传统爬虫与聚焦爬虫 网络爬虫是一个自动提取网页的程序，它为搜索引