如何利用深度上下文兴趣网络提升点击率.docVIP

如何利用深度上下文兴趣网络提升点击率

点击率（CTR）预测是在线广告、推荐系统等领域的一个基础任务，主要目标是预测用户点击某个Item的概率。用户行为序列中蕴含着丰富的用户兴趣信息，这对于CTR预测至关重要。然而，大部分用户行为序列模型只从用户的点击行为中建模用户的正向兴趣，而忽视了上下文信息，即点击Item周围的其他Item，导致效果受限。

我们认为上下文信息在用户行为序列建模中非常重要，因此提出了一种名为深度上下文兴趣网络（DCIN）的新模型，可以对点击及点击周围的展示上下文进行统一建模，以学习用户的上下文感知兴趣。DCIN由三个关键模块组成：1）位次感知的上下文聚合模块（PCAM），通过注意力机制对展示Item进行聚合；2）反馈-上下文融合模块（FCFM），通过非线性特征交互，融合点击和展示上下文的表征；3）兴趣匹配模块（IMM），激活与目标Item相关的兴趣。

此外，我们还对线上性能进行了针对性优化，使得DCIN模型可以在大规模的工业广告系统上部署。我们提出的DCIN方法在离线和线上实验中都取得了显著的效果提升。目前已经在我们美团线上广告系统落地并全量，带来了1.5%的CTR提升和1.5%的RPM提升。

1.背景

点击率（CTR）预测任务的目标是预测用户对某个Item的点击概率，这对于在线广告和推荐系统等领域至关重要[5,16]。这里我们主要关注CTR预测中的用户行为序列建模问题。用户行为序列建模的目标是挖掘用户行为序列中蕴含的丰富的用户兴趣，更准确地理解用户的兴趣和偏好，从而提供更个性化的推荐服务。很多工作[7,11,13,18,21,22]从用户的点击行为中捕捉用户的兴趣，大大提高了CTR模型的效果。

然而，一些研究[13,15]发现用户的点击行为并不能完整地刻画用户兴趣，导致仅从用户点击行为中得到的用户表征有偏。为了解决这个问题，DFN[17]、DUMN[1]等一些开创性的工作引入了用户的未点击行为来捕捉用户的负面偏好（如不喜欢），取得了不错的效果。不过这些方法虽然引入了未点击行为，但它们将用户的点击和未点击行为分开建模，忽视了点击和未点击Item之间的交互。通常，智能手机的屏幕可以同时展示许多Item。用户的点击行为不仅由目标Item与用户兴趣之间的匹配程度决定，而且还受到展示上下文的影响[2,12,20]。

如下图1所示，当用户想买一件T恤时，如果周围的Item是智能手机、鞋子或吹风机，TA可能会点击绿色T恤，因为这些Item对TA来说很无聊。但是，当周围的展示Item都是T恤时，TA可能会点击蓝色的那一个，因为蓝色T恤比绿色T恤更符合TA的兴趣。基于上述分析，我们认为展示上下文在用户兴趣建模中是至关重要的。图1展示上下文示例，用户的点击行为可能会受到其他展示Item的影响为了从用户的点击行为和相应的展示上下文中提取出具有上下文感知的用户兴趣表征，我们提出了深度上下文兴趣网络（DCIN）。具体来说，我们首先设计了一个位次感知的上下文聚合模块（PCAM），该模块通过注意力机制对展示Item进行聚合。同时，我们考虑到位次偏差[9,10]，并将位次信息集成到PCAM中。其次，我们通过反馈-上下文融合模块（FCFM），利用非线性特征交互将点击和相应的展示上下文的表征融合在一起，以捕捉用户的上下文相关兴趣。最后，我们使用兴趣匹配模块（IMM）来匹配与目标Item相关的行为。此外，我们还设计了相应的线上落地方案，使得DCIN模型可以在大规模的工业系统上部署。具体来说，本文的贡献如下：

我们强调了引入上下文信息进行用户兴趣建模的重要性。上下文信息可以帮助我们更准确、全面地捕捉用户的兴趣；

我们创新性地设计了序列模型DCIN，它有效地集成了展示上下文和位次信息，以获取用户的上下文感知兴趣；

我们进行了广泛的线下和线上实验，结果都证明了DCIN的优越性。目前DCIN已经在我们的在线广告系统中全量，并带来了1.5%的点击率（CTR）提升和1.5%的每千次展示收入（RPM）的提升。

2.深度上下文兴趣网络

|2.1CTR模型介绍

点击率预估是在给定用户行为（点击行为）和（浏览行为），以及上下文的情况下，使用模型预测用户点击目标Item?的概率,公式为。用户的历史点击行为是一个包含对应特征（如Itemid、类别等）的点击项目的顺序列表，即，其中是第个点击Item，表示点击序列的长度。为了建模展示上下文，我们为每个点击选择个对应的展示Item，因此用户的浏览行为可以表示为：，其中是点击周围的第个展示Item。在为每次点击选择周围的展示Item时，我们试图将点击保持在中间。我们用和分别表示和的绝对位次。我们还计算和之间的相对位次。我们利用广泛使用的Embedding技术将稀疏特征转化为低维度的稠密向量。例