猜您所想：淘宝搜索推荐系统背后深度强化学习与自适应在线学习的实践之路.pdfVIP

猜您所想：淘宝搜索推荐系统背后深度强化学习与自适应在 线学习的实践之路 1 搜索算法研究与实践 1.1 背景 淘宝的搜索引擎涉及对上亿商品的毫秒级处理响应，而淘宝 的用户不仅数量巨大，其行为特点以及对商品的偏好也具有 丰富性和多样性。因此，要让搜索引擎对不同特点的用户作 出针对性的排序，并以此带动搜索引导的成交提升，是一个 极具挑战性的问题。传统的 Learning to Rank （LTR ）方法 主要是在商品维度进行学习，根据商品的点击、成交数据构 造学习样本，回归出排序权重。 LTR 学习的是当前线上已经 展示出来商品排序的现象，对已出现的结果集合最好的排序 效果，受到了本身排序策略的影响，我们有大量的样本是不 可见的，所以 LTR 模型从某种意义上说是解释了过去现象， 并不一定真正全局最优的。针对这个问题，有两类的方法， 其中一类尝试在离线训练中解决 online 和 offline 不一致的问 题，衍生出 Counterfactural Machine Learning 的领域。另 外一类就是在线 trial-and-error 进行学习，如 Bandit Learning 和 Reinforcement Learning 。 在之前我们尝试了用多臂老虎机模型（ Multi-Armed Bandit ， MAB ）来根据用户反馈学习排序策略，结合 exploration 与 exploitation ，收到了较好的效果。 后来更进一步，在原来的基础上引入状态的概念，用马尔可 夫决策过程对商品搜索排序问题进行建模，并尝试用深度强 化学习的方法来对搜索引擎的排序策略进行实时调控。 实际上，如果把搜索引擎看作智能体（ Agent ）、把用户看做 环境（ Environment ），则商品的搜索问题可以被视为典型的 顺序决策问题。 Agent 每一次排序策略的选择可以看成一次 试错（ Trial-and-Error ），把用户的反馈，点击成交等作为从 环境获得的奖赏。在这种反复不断地试错过程中， Agent 将 逐步学习到最优的排序策略，最大化累计奖赏。而这种在与 环境交互的过程中进行试错的学习，正是强化学习 （Reinforcement Learning ，RL ）的根本思想。本文接下来 的内容将对具体的方案进行详细介绍。 1.2 问题建模马尔可夫决策过程 （Markov Decision Process ， MDP ）是强化学习的最基本理论模型。一般地， MDP 可以 由一个四元组 lt;S, A, R, Tgt; 表示： （1）S 为状态空间 （State Space ）；（2 ）A 为动作空间（ Action Space ）；（3 ） 为奖赏函数； （4 ）为环境状态转移函数（ State Transition Function ） 我们的最终目标是用强化学习进行商品搜索排序策略的学 习，在实现的过程中，我们一步一步完成了从简单问题到复 杂问题的过渡，包括： 1. 基于值表（ Tabular ）强化学习方 法的商品价格档 T 变换控制（离散状态、离散动作问题） ； 2. 基于值表（ Tabular ）强化学习方法的商品展示比例控制 （离散状态、