多样化——排序学习发展新方向.PDFVIP

专栏 第 12 卷  第7 期  2016 年 7 月 多样化——排序学习发展的新方向 徐　君　兰艳艳　 关键词 ：多样化排序　信息检索 中国科学院计算技术研究所 互联网搜索引擎是人们访问互联网、浏览信息 多样化排序的需求 的重要工具，搜索引擎通常将检索到的网页以排序 的方式展现给用户，因此排序模型在互联网搜索中 以往的排序学习研究虽然解决了自动学习和大 起着关键作用，网页排序的优劣直接影响着人们使 量排序特征整合等问题，但总体上都以内容的相关 用搜索引擎的体验。 性和重要性为排序导向，忽视了文档间的相互影响 在互联网搜索早期，搜索引擎将互联网网页 关系。然而互联网搜索引擎面对的网页信息是高度 看作文本，主要采用传统的信息检索排序模型， 冗余的，很容易造成返回的排序结果头部包含大量 如BM25[1] 、语言排序模型(Language Models for 相似甚至重复的信息，用户不得不耗费更多的精力 IR , LMIR)[3] 等。后来，搜索引擎开始利用互联网 跳过这些冗余的信息，进一步获得更多的信息。另 的超本文结构来计算网页的重要度，其代表算法 一方面，随着网络用户规模的迅速扩张，网络用户 有P ag eR ank 等。随着搜索技术的不断发展，网 间的个体差异性变得越来越明显，相同的查询可 页排序需要考虑的因素越来越多，指望采用人工 能代表不同的用户意图或兴趣，比如apple 、j ava、 将成百上千的因素整合成为排序公式已经不太现 j agu ar 等。因此，如何尽可能多地覆盖多用户的查 实，研究人员开始尝试使用有监督的机器学习方 询意图，成为现代搜索引擎必须考虑的因素。除了 法对排序因素进行整合，即从用户标注或者搜索 传统的相关性和重要性准则外，如何保证排序结果 日志数据中利用机器学习的方法训练排序模型， 的多样性，成为近年来排序学习研究面临的一个重 称为排序学习。和传统排序模型相比，排序学习 要研究问题。 的优势在于对大量的排序特征进行组合优化，自 多样性排序也在很多其他网络应用中发挥着重 动进行参数的学习，最终得到一个高效精准的排 要的作用，比如电子商务中的商品推荐、社交网络 序模型。 中的好友推荐、多文本的摘要等。 在过去的十几年里，排序学习的研究在学术界 和工业界都得到了积极的发展和推广，并取得了巨 传统多样性排序方法 大的成功。在算法研究方面，针对不同的排序场景 和模型假设，研究人员提出了多种不同的排序学习 传统的以相关性和重要性为导向的排序背后是 算法 ；在产品实际应用方面，排序学习已经成为各 网页独立性假设，即一个网页与查询的相关性只取决 个互联网搜索产品网页排序的核心技术，目前雅虎、 于网页和查询本身，与其他网页以及网页所处的排序 必应、百度和搜狗等商业互联网搜索巨头均采用排 位置无关。独立性假设简化了排序模型，使得对网页 序学习对网页进行排序。 相关度打分能够独立进行，但同时也使得在面对搜索 50 第 12 卷  第7 期  2016 年 7 月 结果多样化这样的排序任务时无能为力。因此，如何 优化的目标函数直接建立于排序评价准则 α-NDCG 打破网页独立性假设并对文档间的多样性关系进行建 之上，因此模型的学习过程可以看成直接在训练数 模，是解决排序多样性问题的关键所在。 据上优化 α-NDCG 的过程。 已有的多样性排序主要基于传统的相关性排序 上述方法虽然在模型参数的训练过程中充分考 方法，通过对排序模型进行某种启发式的改进来解 虑了多样化排序的特点，但是其采用的排序模型仍 决多样性问题，比如在获得初始的相关性排序结果 然沿用