基于Lucene和Nutch教学资源搜索引擎研究与实现.docVIP

基于Lucene和Nutch教学资源搜索引擎研究与实现 　　摘 要:随着高校校园网建设逐步完善,校园网上的教学资源也越来越丰富,在校师生希望能够在其中寻找所需的教学信息来帮助教学以及课余学习。本文针对这一现象,对开源搜索引擎Lucene和Nutch进行二次开发,并详述开发步骤,最终实现针对教学资源的搜索引擎,使之满足广大师生的需求。 　　关键词:Lucene;Nutch;教学资源;二次开发 　　中图分类号:TP311.1文献标识码:A 文章编号:1673-8454(2010)21-0082-04 　　 　　一、引言 　　近年来,随着高校校园网建设逐步完善,校园网上的教学资源也越来越丰富,在校师生都需要在校园网上查找一些教学信息来帮助教学以及课余学习帮助,但是这些资源相对独立,内容也比较分散。因此,笔者想在校园网上引入专门用于教学资源搜索的搜索引擎,使得学校师生能够在众多的教育资源中快速、准确地进行检索。但是如果直接使用如百度、谷歌等的商业搜索引擎,又难以得到令用户满意的搜索结果。本文从教学资源用户的需求考虑,在分析Lucene及Nutch的运作机制基础上,研究并实现一个基于Lucene和Nutch的教学资源搜索引擎。 　　二、Lucene及Nutch简介 　　1.Lucene 　　Lucene由一位资深全文索引/检索专家DougCutting早先发布在自己的网页,后来发布在SourceForge,2001年底成为APACHE基金会jakarta的一个子项目。它是一个开放源代码的全文检索引擎工具包,它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,部分文本分析引擎(英文与德文两种西方语言)。Lucene的目的是为软件开发人员提供一个简单易用的工具包,以方便地在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎。[1] 　　2.Nutch 　　Nutch是一个建立在Lucene 核心之上的Web搜索的实现,Lucene为Nutch提供了文本索引和搜索的API。Nutch的出现使得抓取、索引、检索一体化,并且开放源码,提供了除商业搜索引擎外的一种新的选择。个人、企业都可通过Nutch来构建适合于自身需要的搜索引擎平台,提供适合于自身的搜索服务,即可以让研究者通过配置,逐步完善各个模块,从而实现所需的搜索引擎。[2] 　　Nutch的工作流程可以分为两个大的部分:抓取部分与搜索部分。抓取部分即抓取页面并把抓取回来的数据进行反向索引,搜索部分则是对反向索引进行搜索来回答用户的请求,索引是联系这两者的纽带。下图是对Nutch整个工作流程的描述。 　　三、Nutch安装并使用 　　Nutch 可以在Nutch的官方网站(/)进行下载,目前最新版本是nutch-1.1。配置条件作为参考可以为:Tomcat 6.0+JDK 1.6.17+Nutch 1.0。在Unix/Linux 下使用Nutch,先要将下载文件解压缩到指定目录, 然后运行# bin/nutch 命令来测试Nutch 是否已正常安装。而在Windows 下使用Nutch 须先下载Cygwin,Cygwin 是一个在Windows 平台上模拟运行Unix 的环境。其他操作和在Unix/Linux 平台下一样。[3] 　　以在Windows下安装为例。当安装并设置JDK(在F:\jdk1.6.0_17,配置环境变量JAVA_HOME= F:\jdk1.6.0_17)、Tomcat(在F:\Tomcat 6.0)和Cygwin(在F:\Cygwin)后, 将下载的Nutch压缩包解压至(D:\nutch-1.0)。在Cygwin命令窗口中,使用Shell命令cd /cygdrive/d/nutch-1.0切换当前工作目录到Nutch的安装目录。输入Nutch命令bin/nutch,测试命令是否可用。将Nutch目录下面Nutch-1.0.war部署到Tomcat的webapps目录下,启动Tomcat。通过浏览器访问http://localhost:8080/nutch-1.0,可将Nutch-1.0.war进行解压得到Nutch-1.0文件夹。 　　四、中文分词 　　中文分词影响着搜索结果的相关度排序及搜索的效率和准确度,因此好的搜索引擎必须处理好中文分词。Nutch的中文分词主要是在两个地方用到,一个是索引时,一个是在搜索时。由于Nutch是基于Lucene的,所以Nutch的分词是继承 Lucene的。 　　在Lucene包org.apache.lucene.analysis中,它的分词模块抽象出来了一个抽象类Analyzer.java。这个类包含抽象方法public abstra