网络爬虫简介详细版.ppt

4.6 IRLBOT IRLBOT是TAMU开发的大规模网络Crawler，它们宣称已经抓取了60亿网页。该爬虫能胜任100亿级网页爬行，可伸缩性很强，在“礼貌”爬行和反垃圾页面上做了很多工作。 5、Metaseeker 5.1 Metaseeker的特点 5.2 Metaseeker的使用 5.2.1 5.1 Metaseeker的特点 5.1.1 定义 MetaSeeker是一个Web网页抓取/数据抽取/页面信息提取工具包，能够按照用户的指导，从Web页面上筛选出需要的信息，并输出含有语义结构的提取结果文件（XML文件）。 5.1.2 优点 众所周知，Web页面显示的信息是给人阅读的，对于机器来说，是无结构的，MetaSeeker解决了一个关键问题：将无结构的Web页面信息转换成有结构的适于机器处理的信息。可以应用于专业搜索、Mashup和Web数据挖掘领域。 5.1.3 工具包的组成 (a) MetaStudio：是Web页面信息结构描述工具，提供GUI界面，作为Firefox扩展（Firefox extension）发行，推荐与MetaCamp和DataStore配套使用，这样信息结构描述文件和各种信息提取指令文件就可以上载到MetaCamp和DataStore服务器，以拥有协同描述页面信息结构和分享信息提取成果的能力。 (b) DataScraper：是Web页面信息提取(网页抓取/抽取)工具，利用MetaStudio生成的各种信息提取指令文件，对特定页面的信息进行连续提取，并将信息存储在DataStore服务器中。提供GUI界面，作为Firefox扩展发行，技术核心是一个自研的工作流引擎，由信息提取工作流指令文件驱动。 最新. BEA Confidential. | * 教育技术系 最新. * 网络爬虫 1、网络爬虫简介 2、通用网络爬虫和聚焦爬虫 3、网络爬虫的抓取策略 4、几种常见的网络爬虫 5、Metaseeker 1、网络爬虫简介 1.1 定义 1.2 用途 1.3 原理 1.1 网络爬虫定义 网络爬虫（Crawler）又被称为网页蜘蛛，网络机器人，在FOAF社区中，更经常的被称为网页追逐者，它是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。 另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。 1.2 用途 很多站点，尤其是搜索引擎，都使用爬虫提供最新的数据，它主要用于提供它访问过页面的一个副本，然后，搜索引擎就可以对得到的页面进行索引，以提供快速访问。蜘蛛也可以在web上用来自动执行一些任务，例如检查链接，确认html代码；也可以用来抓取网页上某种特定类型信息，例如抓取电子邮件地址（通常用于垃圾邮件）。 1.3 原理 一个网络蜘蛛就是一种机器人，或者软件代理。大体上，它从一组要访问的URL链接开始，可以称这些URL为种子。爬虫访问这些链接，它辨认出这些页面的所有超链接，然后添加到这个URL列表，可以称作检索前沿。这些URL按照一定的策略反复访问。 2、通用网络爬虫和聚焦爬虫 2.1 前言 2.2 通用网络爬虫 2.3 聚焦爬虫 2.4 两种爬虫比较 2.1 前言 随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性。 为了解决通用搜索引擎的局限性，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫与通用爬虫不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。 2.2 通用网络爬虫 通用网络爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。 2.3 聚焦爬虫 聚焦爬虫根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。 2.4 两种爬虫比较 通用网络爬虫 聚焦爬虫 目标 通用网络爬虫的目标是尽可能多的采集信息页面，而在这一