基于Lucene索引系统设计与实现.docVIP

基于Lucene索引系统设计与实现 　　〔摘 要〕索引系统是搜索引擎的数据大本营,在搜索引擎发展早期,能够索引的网页数量代表了整个行业的技术发展水平。Lucene全文检索技术是信息检索领域广泛使用的基本技术,它是一个优秀的开源全文本搜索技术框架,本文详细分析了索引系统相关技术和Lucene的索引系统结构。 　　〔关键词〕搜索引擎;索引;lucene;倒排索引 　　〔中图分类号〕TP393.09 〔文献标识码〕A 〔文章编号〕1008-0821(2009)07-0169-03 　　 　　The Design and Implementation of Indexing System Based on LuceneHuang Shaolin Wang Hua Zhang Yuhong Jiang Yifeng 　　(School of Information Engineering,Capital Normal University,Beijing 100037,China) 　　〔Abstract〕Index system is the data center of the search engine,at the beginning of the search engine,the number of the pages that can be indexed to represent the technology level of the whole industry.Lucene full-text retrieval,as a basic skill,is widely used in the field of information retrieval;it is an excellent open-source full-text search technology framework.The paper analyzed Lucene’s indexing system structure in detail and gave some introduction about the related technology of index system. 　　〔Key words〕search engine;index;lucene;inverted index 　　 　　无论在工业界还是在学术界,搜索引擎一致地被认为分为下载、分析、索引和查询四大系统,这四大系统相互配合共同实现搜索引擎的快、全、准、稳的四大需求。索引系统是搜索引擎最核心的模块之一,索引过程就是将普通的文档形式转换为可快速检索的索引形式。例如,书目包含的目录。其中每一条目就是一个索引,用来标识某个章节的页码,帮助读者快速浏览,索引就是这样一个短小精炼的检索信息的信息。 　　 　　1 lucene及索引技术介绍 　　 　　1.1 lucene介绍 　　Lucene是apache软件基金会jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包,即它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,它为数据访问和管理提供了简单的函数调用接口,可以方便的嵌入到各种应用中实现针对应用的全文索引/检索功能。Lucene的API接口设计得比较通用,输入输出结构都很像数据库的表、记录和字段,所以很多传统的应用的文件、数据库等都可以比较方便的映射到Lucene的存储结构或接口中。总体上看,可以先把Lucene当成一个支持全文索引的数据库系统。 　　1.2 索引技术 　　索引是在搜索时使用到的一种特殊的数据结构。当文档的数量相当庞大,并且这些文档中的信息相对稳定时,建立索引可以大大提高搜索时的效率。在使用索引进行查找时,首先对需要索引的文档进行预处理,建立关于这些文档的索引结构。索引技术主要有以下3种:倒排索引,后缀数组和签名文件。其中,倒排索引技术在当前大多数的信息检索系统中得到了广泛的应用,它对于关键词的搜索非常有效,在lucene中也是使用的这种技术。后缀数组技术在短语查询中具有很快的速度,但是这样的数据结构在构造和维护时都比较复杂一些。签名文件技术在20世纪80年代比较流行,但是后来倒排索引技术逐渐超越了它。 　　1.3 倒排索引技术 　　倒排索引是目前搜索引擎公司对搜索引擎最常用的存储方式,也是搜索引擎的核心内容,倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值,而是由属性值来确定记录的位置,因而称为倒排索引。倒排索引是以关键字和文档编号结合,并以关键字作为主键的索引结构(见