搜索排序评估方法作为产品这个你必须要了解.pdfVIP

搜索排序评估方法 ：作为产品 ，这个你必须要了解 在策略相关的产品如搜索、排序、推 等功能的评估中 ，除了一般性数据分析方法之外 ，还 有有一些特有的且相对比较固定的评估工具 ，这些评估工具都取之于信息检索科学的常用评 估方法。要了解这些首先要了解策略产品的效果评估 ，我们必须要引入一些必要的信息检索 相关的知识。 1.召回率和准确率 信息检索领域两个最基本指标是召回率(Recall Rat e)和准确率(Precisio n Rat e) ，召回率也叫查全率 ，准确率也叫查准率 ，概念公式: 召回率(Recall)=检索到的相关内容 / 所有相关的内容总数 准确率(Precisio n)=检索到的相关内容 / 所有检索到的内容总数 为了直观的描述这两个概念 ，我们用是否相关和是否被检索到两个维度的指标来对每一次信息检索 之后的内容分类。是否相关指内容和检索条件是不是相关 ，如检索“酒店” ，系统中所有的酒店内容 就是相关 ，而“美食”的内容就是不相关的 ，一般情况下 ，相关的内容就是理论上需要完全被检索到 的内容 ，这个数值和检索的策略或算法没有关系。是否被检索到是针对检索结果的描述指标 ，检索 完成后我们才能对系统内容做是否被检索到的区分 ，这个数值和检索策略或算法相关。通过是否相 关和是否被检索到两个维度的指标 ，我们可以将检索完成后的内容分为四类 ，如下图 ： 联系图表 ，召回率就是检索到的相关内容 （A ）在所有相关内容中的比例 （A +C ），而准确率就是 检索到的相关内容 （A ）在所有检索到的内容 （A +B ）中的比例。 但是如何算图1中的A 、B、C、D呢 ？一般 ，这需要人工标注 ，人工标注数据需要较多时间且枯燥 ， 如果仅仅是做实验可以用已知的场景来测试 ，比如我们已知搜索“A酒店”应该出的搜索结果 ，那么 我们就可以通过不同策略在搜索“A酒店”的表现来计算不同策略的A 、B、C、D值 ，这种方式简便 易行 ，能够针对性的解决问题 ，但是只能解决已知的问题。当然 ，还有一个办法 ，找个一个比较成 熟的算法作为基准 ，用该算法的结果作为样本来进行比照 ，当然这个方法也有点问题 ，那就是我们 无法得知天花板在哪里 ，也就是无法预知最佳效果如何。 在实际项目中 ，我们单方面追求准确率和召回率都是不对的。准确率和召回率是互相影响的 ，理想 情况下肯定是做到两者都高 ，但是一般情况下准确率高、召回率就低 ；召回率低、准确率高。如果 是做搜索 ，那就是保证一定召回的情况下提升准确率 ；如果做反垃圾、反作弊 ，则是保证一定准确 率的条件下 ，提升召回率。 2.F值 一般情况 ，对同一个策略模型 ，用不同的阀值 ，可以统计出一组不同阀值下的精确率和召回率关系 ，我们称之为P- R曲线 ，如下图 ： 图中横坐标是召回率 ，用R （Recall ）表示 ；纵坐标是准确率 ，用P （Precisio n ）表示。有时候 ， 我们在P和R做出平衡 ，因此我们需要用一个值来体现策略在P值和R值两方面的整体表现。最普通 也最容易理解的是F1值 ，F1值的计算公式如下 ： F 1= 2 * P * R / (P + R) 更通用的公式是F=(1+ ^2)* P* R/( ^2* P+R) 用F1值来体现准确率和召回率的综合表现非常直观且易于理解 ，但是也有一个明显的缺陷 ，F1值的 计算中 ，P和R的权重是一样的 ，也就是对召回和准确的要求是一样。在大多数情况下 ，我们在召回 率和准确率上有不同的要求 ，因而我们也常用F2和F0.5来评价策略的效果 ，F2 = 5P * R / (4 P + R) ，表示更重视召回率 ，F0.5 （F2 = 1.25P * R / (0.25P + R) ，表示更重视准确率。 3.RO C和A UC 前面给大家介绍了F值 ，细究不难发现 ，它只能表示单点的效果而无法表示策略的整理效果 ，下面 介绍的内容 ，将是一些能评估策略整体效果的评估方法。 RO C的全名叫做Receiver O perat ing Charact erist ic ，是评价分类器 （需要说明 ）的指标 ，一般分 类识别相关的策略我们使用RO C值来评价。我们用上面第一个图的方式来说明这个值 ，我们 将A BCD稍作变换如下图 ： 正确正例 （T rue Posit ive ，T P ）表示将正例 （预测 ）分为正例的内容 ；错误正例 （False Posit ive ，FP ）表示将负例分为正例的内容 ；错误反例 （False Negt ive ，FN ）将正