2025年度腾讯广告技术年刊.pptxVIP

2025年度腾讯广告技术年刊

01行业痛点与解决思路

当前推荐系统正在兴起基础-专家范式[2,3,4]，即用海量数据训练一个基础大模型，然后

将其中间表征迁移到下游专家模型。然而，现有工作存在以下局限：

●表征迁移不全面：仅迁移用户表征（UserRepresentation，UR），忽视了物品表征（ItemRepresentation，IR）和用户-物品交叉表征（CrossRepresentation，CR）。

●交叉表征难迁移：CR同时与用户、物品有关，颗粒度太细，难以完全对齐下游样本。

●下游用法单一：只把上游表征作为一个额外特征，简单地与下游特征融合。

为了克服上述局限，我们提出基于LFM4Ads基础大模型的全表征、多粒度迁移框架，

实现了：

●全面的表征迁移：我们将用户表征（UR）、物品表征（IR）和用户-物品交叉表征

导语：如何利用海量数据训练强大的基础模型，并将其知识迁移到下游任务？这一直是广告推荐领域关注的焦点。腾讯广告研究团队推出LFM4Ads（LargeFoundationModelforAdsRecommendation）基础大模型[1]，通过创新的全表征、多粒度迁移框架，在十余个下游应用中落地，全平台GMV提升2.45%。本文详细介绍这一技术突破。

01腾讯广告LFM4Ads基础大模型：全表征多粒度知识迁移，全平台GMV提升2.45%

公众号链接：腾讯广告LFM4Ads基础大模型：全表征多粒度知识迁移，全平台GMV提升2.45%

原文链接：https:///abs/2508.14948

2025年度「腾讯广告技术年刊」

2

（CR）一并从上游迁移到下游。

●可迁移的交叉表征：我们将CR从样本级表征聚合为用户级/物品级表征，从而对齐下游样本。

●多粒度的下游用法：我们提出三种颗粒度的用法，分别将上游表征作为一个下游特征、一个下游模块、一个下游模型。

图1-1现有工作与我们的区别

图1-1概括了现有工作与我们的区别，下文详细介绍我们的工作。

02LFM4Ads：全表征、多粒度知识迁移

一、模型设计与表征抽取

2025年度「腾讯广告技术年刊」

3

图2-1LFM4Ads的模型设计

如图2-1所示，我们的LFM4Ads基础大模型采用三塔结构——用户塔把用户特征抽取为用户表征（UR），物品塔把物品特征抽取为物品表征（IR），UR和IR进入混合塔。在混合塔，UR和IR首先进行交互，然后经过MLP和任务头，最后得到预测标签。我们抽取MLP的中间某层输出，作为用户-物品交叉表征（CR）。

模型训练时，我们把产生的UR、IR和CR存储下来，以备下游使用。UR/IR是粗粒度表

征，浓缩了用户/物品的全面综合的特征信息。CR是细粒度表征，刻画了用户与物品的交叉互动关系。我们把UR、IR和CR迁移到下游，相当于把基础大模型的知识迁移到下游，不仅能提高下游性能，还能简化下游模型设计、降低下游推理成本。

用户-物品交叉表征（CR）的迁移存在两大难点：

●CR是样本级表征，同时与用户、物品有关，难以完全对齐下游样本。

●CR的数量太多，无法提前计算和存储。设用户有U个，物品有I个，则达UXI个。

二、增强交叉表征的可迁移性

2025年度「腾讯广告技术年刊」

CR的总数高

4

为了攻克上述难点，我们将CR从样本级表征聚合为用户级/物品级表征。形式化地，设

用户u和物品i的交叉表征为CR(u,i)，我们把多个CR(u,i)聚合为用户级的CR(u)和物品级的CR(i)。此举使CR只与用户或物品有关，易于对齐下游样本，而且把CR的数量从UXI减少为U+I，可以提前计算和存储。

具体而言，我们采用时间感知的指数滑动平均算法。每当上游产生CR(u,i)时，我们从

存储器取出CR(U),CR(i)，按以下公式更新二者：

CR(u)⃞B(t(u))CR(u)+(1-F(t(u)))CR(u,i)

CR(i)⃞F(t(i))CR(i)+(1-(t(i)))CR(u,i)

其中t(u),t(i)是距离上次更新CR(u),CR(i)的时间，B:(0,+oo)→[0,