Lucene相似度计算方法研究和改进.pdfVIP

和宁软 极 ’甄 学报 2011年第 16卷第 3期 JournalofNanningPolytechnic 2011 Vo1．16 No．3 Lucene相似度计算方法研究和改进 刘凤玲 马松岩 (1．抚顺职业技术学院，辽宁 抚顺 113006； 2．北京邮电大学，北京 100876) 摘『 要 Lucene中的相似度计算可以让用户得到与查询词相似程度最高的文本，以及文本与查询词的相 似程度，因此是Lucene搜索引擎的一个很重要的部分。最后的得分通过评分公式来实现，它的性能直接 影响 了评分结果，因此针对评分公式算法加以改进，改进后的Lucene相似度计算评分公式更准确地为用 户提供所需要的信息。 关『键词]Lucene相似度计算；评分公式；结果排序 中【图分类号]TP391．3 文【献标识码JA 文【章编号]1009-3621(2011)03-0090-04 从最初的图书检索到连接查询，对图片、多媒体的搜索，直至现在的 人“肉搜索”，搜索引擎作为信息融 合平台，将万千世界带到我们周围。Lucene是一个高性能的全文检索工具包，以其开放源代码的特性、优异 的索引结构、良好的系统架构，获得了越来越多的应用。在研究分析Lucene的系统结构、运作机制的基础上， 对 lucene相似度计算方法进行研究和改进显得尤为重要。 Lucene搜索主要包含两部分：一是对待搜索内容进行解析，建立索引；二是检索索引，即根据用户输入 的查询条件从索引库中找出符合条件的文档，将结果通过一定的顺序进行排序返回给用户。Lucene相似度 计算方法 ，主要针对Lucene本身提供的接 口和用户需要，通过对Lucene的结果排序打分公式进行改进，以 提高检索性能，使搜索结果更加人性化地满足用户的需求。 1．搜索引擎Lucene l，1 Lucene项 目简介 Lucene是一个高性能的全文索引工具包。它不是一个完整的全文检索引擎 ，而是一个全文检索引擎的 架构，提供了完整的查询引擎和索引引擎，它为数据访问和管理提供了简单的函数调用接 口，可以方便地嵌 入到各种应用中，实现针对应用的全文索引功能。Lucene的API接 口设计得比较通用，输入输出结构都很像 数据库的表、记录和字段，因此很多传统的应用的文件、数据库等，都可以比较方便地映射到存储结构或接 口中。Lucene以其开放源代码的特性、优异的索引结构 、良好的系统架构，获得了越来越多的应用。但是 Lucene不是一个具有完整特征的搜索应用程序，需要针对不同类型的数据源和应用背景进行二次开发。 1．2 Lucene[作流程 Lucene针对的是文本类检索。假设电脑的目录中含有很多文本文档，我们需要查找哪些文档含有某个 关键词。为了实现这种功能，我们首先利用Lucene对这个 目录中的文档建立索引，然后在建立好的索引中搜 索所要查找的文档。 建立索引过程和查询过程共同构成了Lucene的检索流程(见图 1) 收【稿 日期]2011-04一O1 网【络出版]http：／w／ww．cnki．net／kcms／detail／45．1268．C1128．016．html CNKI：45～1268／C1128．016 作【者简介】刘凤玲 (1961一)，女，辽宁抚顺人 ，抚顺职业技术学院教授 ，主要从事计算机软件教学研究。 码松岩(1987一)．男，辽宁抚顺人，北京邮电大学2010级计算机网络技术研究生，主要从事计算机网络技术研究。 o 万方数据 刘凤玲。等 Lucene相似度计算方法研究和改进 图1 Lucene建立索引并搜索过程 1．3 Lucen