基于Lucene教学资源垂直检索研究与实现.docVIP

基于Lucene教学资源垂直检索研究与实现 　　摘 要：随着网络教学资源的与日俱增，如何在海量的教学资源中找到用户所需要的信息成为当下关注的热点。本文基于全文检索工具包Lucene，结合XML文档在教学资源中的广泛使用，设计并实现了一个面向教学资源的垂直检索系统。首先，设计系统总体架构和业务流程；然后，分析研究全文检索工具包Lucene和XML检索技术；最后，完成系统中索引模块和检索模块的实现。 　　关键词：教学资源； 垂直检索； Lucene； XML 　　Abstract： With the increasing number of teaching resources on the Internet， how to find the information needed by users in a vast amount of teaching resources has become the focus of attention. This paper is based on the full-text search tool package Lucene， combined with the extensive use of XML documents in teaching resources， designs and implements a vertical retrieval system oriented to educational resources. Firstly， it designs the overall structure and business process of the system； then， it analyzes and researches Lucene and XML retrieval technology of the full text retrieval toolkit； finally， it completes the implementation of the system indexing module and the retrieval module. 　　Key words： teaching resources； vertical retrieval； Lucene； XML 　　引言 　　随着信息技术的进步，网络上的教学资源数量逐年呈指数级增加，越来越多的用户通过互联网接受在线教育[1]。面对数目巨大的信息，用户需要快速准确地找到自己需要的教学资源。尽管传统的检索系统（如百度、谷歌等）信息覆盖面很广，但其检索结果的准确性较差，用户仍需要从浩瀚的结果中找出自己所需要的资源，而垂直检索系统可以提供针对某一行业或特定领域的更高质量的检索服务，提高用户的学习效率。 　　在上述背景下，本文结合XML文档在教学资源上的广泛使用，基于全文检索工具包Lucene，设计并且实现了一个面向教学资源的垂直检索系统，其目的是为广大学习者提供一个能够准确定位、交互性较好的信息检索服务。 　　1 教学资源垂直检索系统的设计 　　1.1 系统业务流程设计 　　信息检索系统的架构按照功能可以分为查询语句分析模块、搜索模块、建立索引模块和XML文档提取模块。本系统的业务流程主要分2部分。 　　（1）处理文档集合。首先将文档集合经过预处理和信息抽取后，转换成为Lucene可以读取的Document流，然后利用解析XML格式文档的开源工具――Dom4j提取文档部分内容，写入到相应的域中，最后选取文档中部分内容作为索引，并添加到索引?臁? 　　（2）处理用户输入的查询。系统根据全文检索工具包Lucene内置的QueryPaser类，对用户输入的查询语句解析成为若干个关键字，在建好的索引库中找出关键字所在的位置及相应文档，并根据一定的排序算法给用户返回相应的文档[2]。 　　系统的体系架构如图1所示。 　　1.2 功能模块设计 　　1.2.1 文档提取模块 　　XML格式的文档带有特殊的结构，每一个开始标签和相对应的结束标签中间都是所对应的内容。实现自动化地读取并且提取标签之间的文本内容，是建立索引之前的一个重要工作。图2给出一篇XML文档的基本结构。 　　目前出现了多种对XML文档抽取信息的开源工具，其中Dom4j是一个用于读写XML文档的Java API工具。Dom4j是SourceForge旗下的一个开放源代码软件，专为Java平台设计，采用Java集合框架，如今Dom4j越来越多地被用来在Java环境下提取XML文档。所以，本系统采用开源工具包Dom4j去掉XML文档中的标签，并且将文档中的文本内容提取出来，为创建索引做好准备。 　　1.2.2