lucene结果排序.docVIP

 HYPERLINK /blog/1219565 Lucene3.0之结果排序 博客分类：  HYPERLINK /category/185592 Lucene3.0之结果排序 Lucene3.0之结果排序（原理篇） 传统上，人们将信息检索系统返回结果的排序称为相关排序 ?（ relevance ranking） ?，隐含其中各条目的顺序反映结果和查询的相关程度。 1、? 基本排序原理 ①????? 向量空间模型 Gerald Salton?等在 ?30?多年前提出的向量空间模型 ?（ Vector Space Model， VSM） [Salton and Lesk,1968, Salton,1971]。该模型的基础是如下假设：文档 d和查询 q的相关性可以由它们包含的共有词汇情况来刻画。 经典的 TF*IDF词项权重的计算公式： ?????????给定某种权重的定量设计，求文档和查询的相关性就变成了求 ?d?和 ?q?向量的 某种距离，最常用的是余弦（ cos）距离 ? ②????? 链接分析 PageRank原理 链接分析技术主要基于两个假设： 1）一个网页被多次引用，则它可能是很重要的，如果被重要的网页引用，说明自身也是重要的，网页的重要性在网页之间可以传递。 2）随机冲浪模型：认为假定用户一开始随机地访问网页集合中的一个网页，然和跟随网页的链接向前浏览网页，不会退浏览，那么浏览下一个网页的概率是被浏览网页的量化的重要程度值。 按照以上的用户行为模型，每个网页可能被访问到的次数越多就越重要，这样的可能被访问的次数也就定义为网页的权值， PageRank值。如何计算这个权值呢？ PageRank采用以下公式进行计算： 其中wj代表第 j个网页的权值；lij只取 0、 1值，代表从网页 i到网页 j是否存在链接；ni代表网页 i有多少个连向其它网页的链接； d代表随机冲浪中沿着链接访问网页的平均次数。选择合适的初始数值，递归的使用上述公式，即可得到理想的网页权值。 2、? Lucene排序计算公式 Lucene的排序公式如下： 1)，协调因子，表示文档（ d）中 Term(t)出现的百分比，也就是计算查询条件（ q）中不同 Term(t)，以及在文档中出现的数量之和，两者的数量之比。通常在文档中出现查询 Term种类越多，分值越高。 2)，调节因子，不影响索引排序情况，只在检索时使用，主要是用来让排序结果在不同的查询条件之间可以比较。这个条件是在搜索时候计算。数值是根据每一个查询项权重的平方和计算得到。计算公式如下： ???????????? 3)?，文档频率，表示查询词中，每个 Term在对应的结果文档中 (d)中出现的次数。查询词出现的次数越多，表示出现频率越高，文档的检索得分就越高。为了避免获得更大的相关性函数，实际中，使用次数的平方跟作为文档频率 tf的值，避免数值过度放大。 4)?，逆文档频率，检索匹配文档数量的反向函数。按照信息理论，文档出现的次数越少，每一篇文档的信息量就会越大。所以匹配的文档数越少，得分就越高。而索引库中文档总数越多，找到一篇目标文档难度越大，相应的信息量也会比较大。 5)?，长度因子，每个索引词汇在域中的总体长度决定的，这个参数在索引建立时确定。数值根据文档中实际具有的索引项个数确定。检索词长度在文档总长度中占的比例越大，长度因子的数值也越大。 ? Lucene3.0之结果排序（操作篇） ? 1、? Lucene相关排序流程 2、? Lucene相关类 ①????? Query类：一个抽象类， Lucene检索结果最终评分的总控制中心。其它评分有关的类和对象都是由 Query类来管理和生产。 ②????? Weight类接口：定义 Query权重计算的一个实现接口，可以被重用。 Weight类可以用来生成 Scorer类，也可以解析评分的详细信息，另外还定义了获取 Query权值的方法。 ③????? Scorer类： Lucene评分机制的核心类。类的定义是抽象类，提供的一些抽象基本的计分功能方法提供所有的评分类实现，同时还定义了评分的详细解析方法， Scorer类内部有一个 Similarity对象，用来指明计算公式。 ④????? Scorer类： Lucene相似度计算的核心抽象类。 Similarity类主要处理评分计算，系统缺省使用类 DefaultSimilarity类对象 3、? 排序控制 使用 Sort对象定制排序，通过改变文档 Boost值来改变排序结果以及使用自定义的 Similarity方法更改排序 4、? 文档 Boost加权排序 ①????? Boost是指索引建立过程中，给整篇文档或者