开源搜索引擎的比较.pdf

开源搜索引擎的比较

1.Nutch

简介:

Nutch是一个用java实现的基于Lucene的开源搜索引擎框架,主要包括爬虫

和查询两部分组成。Nutch所使用的数据文件主要有以下三种:1)是webDb,保存网

页链接结构信息,只在爬虫工作中使用。2)是segment,存储网页内容及其索引,以

产生的时间来命名。segment文件内容包括CrawlDatum、Content、ParseData、

ParseText四个部分,其中CrawlDatum保存抓取的基本信息,content保存html脚

本,ParseData和ParseText这两个

部分是对原内容的解析结果。3)是index,即索引文件,它把各个segment的

信息进行了

整合。爬虫的搜索策略是采用广度优先方式抓取网页,且只获取并保存可索引

的内容。

Nutch0.7需要java1.4以上的版本,nutch1.0需要java1.6。

特点:

1、遵循robots.txt,当爬虫访问一个站点时,会首先检查该站点根目录下是

否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的

范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的

页面。

2、采用基于Hadoop的分布式处理模型,支持分布式的实现。

3、Nutch可以修剪内容,

或者对内容格式进行转换。4、Nutch使用插件机制,可以很好的被用户定

制和集

成。5、Nutch采用了多线程技术。

6、将爬取和建索引整合在了一起,爬取内容的存储方式是其自己定义的

segment,不便

于对爬取的内容进行再次处理,需要进行一定的修改。7、因为加入了对页面

分析,建索

引等功能其效率与heritrix相比要相对较低。

全国注册建筑师、建造师考试备考资料历年真题考试心得模拟试题

2.Heritrix

简介:

Heritrix是一个用Java实现的基于整个web的可扩展的开源爬虫框架。

Heritrix主要由三大

部件:范围部件,边界部件,处理器链组成。范围部件主要按照规则决定将哪个

URI入队;边界部件跟踪哪个预定的URI将被收集,和已经被收集的URI,选择下一个

URI,剔除已

经处理过的URI;处理器链包含若干处理器获取URI,分析结果,将它们传回给

边界部件。采用广度优先算法进行爬取。

heritrix用来获取完整的、精确的、站点内容的深度复制。包括获取图像以

及其他非文本内容。抓取并存储相关的内容。对内容来者不拒,不对页面进行内容

上的修改。重新爬行对

相同的URL不针对先前的进行替换。

特点:

1、各个部件都具有较高的可扩展的,通过对各个部件的修改可以实现自己的

抓取逻辑。

2、可以进行多种的配置,包括可设置输出日志,归档文件和临时文件的位置;

可设置下

载的最大字节,最大数量的下载文档,和最大的下载时间;可设置工作线程数量;

可设置

所利用的带宽的上界;可在设置之后一定时间重新选择;包含一些可设置的过

滤机制,表

达方式,URI路径深度选择等等。3、采用多线程技术。

4、保存的内容是原始的内容,采用镜像方式存储,即按照斜杠所划分出的层次

结构进行

存储,同时也会爬取图片等信息。5、同样也遵守robots.txt规范。

6、在硬件和系统失败时,恢复能力很差。

3.WebSPHINX

简介:

WebSPHINX是一个Java类包和Web爬虫的交互式开发环境。WebSPHINX由两

部分组成:

爬虫工作平台和WebSPHINX类包。爬虫工作台提供接口实现对爬虫的配置;类

包则提供

对爬虫进行扩展需要的一些