基于Lucene全文检索技术优化探讨.docVIP

基于Lucene全文检索技术优化探讨 　　摘 要： 当今社会已经进入信息量爆发式增长的大数据时代，如何从海量数据中快速查找信息成为当前研究的热点，Lucene软件作为优秀的开源全文检索工具已被广泛应用于各种搜索引擎。文章通过对全文检索原理与Lucene工具架构的研究，从优化内存索引、索引压缩处理、优化磁盘索引等方面探讨Lucene检索效率的优化。实验结果证明，通过优化内存索引、索引压缩处理等方法可以有效地提高全文检索的效率。 　　关键词： 全文检索； Lucene； 倒排索引； 检索优化 　　中图分类号：TP393.08 文献标志码：A 文章编号：1006-828（2017）11-16-04 　　Research on the optimizing of full-text retrieval with Lucene 　　Hu Jie， Guo Qiaojin， Chen Bin 　　（The 28th Institute of China Electronics Technology Group Corporation， Nanjing， Jiangsu 210007， China） 　　Abstract： Todays society has entered the big data era with the explosive growth of information， how to find information quickly from massive data has become the current research hotspot， as an excellent open source full-text retrieval tool， Lucene has been widely used in all kinds of search engines. This paper studies the principle of full-text retrieval and the architecture of Lucene tool， and discusses the Lucene retrieval efficiency optimization from aspects of optimizing memory index， index compression processing and optimizing disk index. The experimental result proved that the efficiency of full-text retrieval can be improved effectively by optimizing memory index and index compression processing. 　　Key words： full-text retrieval； Lucene； inverted index； retrieval optimization 　　0 引言 　　当今社??已经进入信息量爆发式增长的大数据时代。面对快速增长的海量数据，基于SQL查询的传统数据库已经难以满足数据检索的需要，而且随着多媒体技术的发展，文本、音频、图像等非结构化数据也成为用户主要的检索对象。传统数据库查询普遍存在检索内容覆盖有限、检索时间长等缺点，最重要的是不能通过查询数据中某个词语获得用户实际需要的内容，因此全文检索技术作为现代信息检索的核心技术，已经成为现有各种搜索引擎必不可少的功能。 　　Lucene是当前应用最广泛的开源全文检索项目，它提供了丰富的函数接口用于嵌入到其他应用程序中，实现强大的全文索引和搜索功能。实际应用中，Lucene可以从检索效率、中文分词、检索精度等多方面开展检索优化，本文主要探讨硬盘索引、内存索引、索引压缩处理等方面的检索优化。 　　1 全文检索原理 　　全文检索主要面向文本文档，它通过一定的算法对文档进行语言和词法分析，将文档中每一个独立的单词进行分离并对这些单词建立索引，记录这些单词在文档中出现的次数和位置[1]。当用户以这些单词为关键字进行查询时，检索程序按照一定的算法直接在索引文件进行查找，而不必在检索时遍历整个文档。 　　全文检索作为信息检索的核心技术已广泛应用于Google、百度等主流的搜索引擎，用来实现网页、文档等非结构化数据的检索[2]。全文检索与传统的数据库检索相比，数据库检索只能检索基于库、表、字段等固定格式的结构化数据，而全文检索却能够任意检索各种无固定格式的非结构化数据。 　　全文检索包括文件预处理、索引构建、检索实现等三个步骤[3]。 　　⑴ 文件预处理：由于