基于Solr机构知识库检索系统构建研究.docVIP

基于Solr机构知识库检索系统构建研究 　　[摘要]介绍Solr的概念、特性以及体系结构，并使用它设计和构建机构知识库的检索系统，该系统初步具备简单检索、高级检索、分面检索、相似资源检索、访问统计等功能， ，实现了机构知识库的个性化检索。 　　[关键词] Solr 机构知识库 检索系统 　　1 引 言 　　伴随着计算机技术、网络技术以及数字化技术的迅速发展，数字化资源的发布和共享不再受时间、空间的限制。在研究机构和大学里，由研究人员和教师通过网络收集、保存、处理的一些会议论文、期刊论文、专著、教学课件、声音动画等数字化资源成为重要的学术资源。研究机构和大学将这些重要的学术资源从分散存储在研究人员和师生员工等的计算机上集中起来构成了机构知识库（Institutional Repository， IR）。机构知识库通过校园网甚至校际之间的协议，得到开放利用，一些发达国家的大学图书馆使用这种机构知识库共享学术资源。与此同时，机构知识库也承载了学术传播、电子出版、场次保存、知识管理、促进教育、科研评价、共享利用等诸多功能[1]。但是在互联网信息技术高速发展的今天，人们更加关注如何以最快的时间获取最有价值的信息。传统仅基于关键字的检索已不能满足人们现在的要求，如何能以最快的时间在机构知识库中找到自己想要的资源是现今亟需解决的问题。 　　如今，开源软件本着自由、共享的理念，作为一种新兴的软件模式正在迅速深入人心。开源软件能够使开发者根据自身的需求进行二次开发来实现功能定制，从而提高其创新能力和针对性服务能力[2]。为了能够结合用户的需求提供多层次、高性能、多方面的信息服务，应充分利用一些优秀的开源软件。 　　本文提出了基于Solr的机构知识库检索系统的模型，实现了对机构知识库的高效查询和浏览并提供了相似资源的推荐。 　　2 Solr概述 　　2.1 Solr的概念及特性 　　Apache Solr是一个开源的基于Lucene的搜索服务器。它使用Java语言开发，主要基于HTTP和Apache Lucene来实现，在全文索引工具Lucene 的基础上进行了封装和功能扩展。Solr提供了分面搜索、高亮显示等功能并且支持多种输出格式（XML和JSON格式）。它是一个较为稳定和成熟的全文检索服务器，易于安装和配置，而且有自己独特的管理界面，是一个高性能的、可独立运行的企业级全文搜索引擎服务器[3]。 　　Solr的特性主要包括：①高级的全文搜索功能，高亮显示检索结果；②专为高通量的网络流量进行优化；③基于开放接口（XML和HTTP）的标准；④综合的HTML管理界面；⑤具有很强的可伸缩性，能够有效地被复制到另外一个Solr搜索服务器；⑥使用XML配置达到灵活性和适配性，并具有可扩展的插件体系。 　　2.2 Solr体系架构 　　Solr在Lucene的基础上，重在数据之间内在关联关系的挖掘。作为一个完整的全文检索服务系统，Solr具有良好的体系架构[4]，如图1所示： 　　上层主要包括管理员界面（Admin Interface）、索引更新处理器（ Update Servlet）和HTTP请求处理器（ HTTP Request Servlet） 三大模块。管理员、用户和其他系统通过HTTP接口，向Solr发送HTTP请求，HTTP请求处理器根据接受到的不同请求，分析要使用的不同SolrRequestHandler，然后通过中间层即Solr的核心层处理这些请求，并以XML、JSON 等格式返回请求结果。索引更新处理器主要为XML数据的导入提供相应的可视化界面。 　　中间层为Solr的核心层，由多个独立模块组成，负责整个系统配置（Config） 和索引参数（Schema）的加载与解析，索引文档及查询请求的分析（Analysis），提供建立索引和读取索引的并发控制（Concurrency）和分面、文档缓存机制（Caching） 。更新处理器（Update Handler） 负责对XML、CSV 和数据库等来源的索引请求进行处理。 　　底层为全文索引工具Lucene，负责具体的文本分析、创建索引，并对索引文件进行高效查询。此外，索引复制功能（Replication） 是一个独立的模块，可以通过脚本程序、异步处理程序等完成，用于支持分布式索引和检索。 　　3 基于Solr的机构知识库检索系统的设计 　　3.1 系统总体功能 　　基于高性能的Solr构建机构知识库检索系统，可以对机构知识库进行深度开发和综合利用，为用户提供高效、稳定的检索服务平台。该系统的功能结构如图2所示： 　　该系统的主要功能分为8个部分。其中，简单检索指依据用户需求，提供所有字段的检索；高级检索是指对资源的作者、题名、关键字、出处等进行多入口的组合检索；分面导航是从论文、专著、教学课件