大语言模型在推荐系统的实践应用.pdf

⼤语⾔模型在推荐系统的实践应⽤

导读

本⽂从应⽤视⻆出发，尝试把⼤语⾔模型中的⼀些⻓处放在推荐系统中。

主要内容包括以下五⼤部分：

1.背景和问题

2.

何处运⽤⼤语⾔模型（Where）

3.

如何运⽤⼤语⾔模型（How）

4.挑战和展望

5.QA

01

背景和问题

传统的推荐模型⽹络参数效果较⼩(不包括embedding参数)，训练和推理的时间、空间开销较⼩，也能

充分利⽤⽤户-物品的协同信号。但是它的缺陷是只能利⽤数据集内的知识，难以应⽤opendomain的

知识，缺乏此类语义信息和深度推理的能⼒。

⼤语⾔模型从这⼏个⻆度来看，正好跟推荐模型有⼀定取⻓补短的能⼒。它能够引⼊外部知识，能够有

跨域的能⼒，但是它没有推荐场景下所需要的协同信号，另外它的计算成本（不管是训练还是推理）都

⾮常⾼。

本次报告会尝试解答推荐模型和⼤模型如何取⻓补短。具体分两个⻆度：

在整个推荐流程中，可以在哪些地⽅运⽤⼤模型？

如何运⽤⼤模型？

本⽂视⻆是将⼤模型引⼊传统的推荐流程来做⼀些辅助，当然以LLM作为backbone也是另外⼀个⾮

常值得探索的⽅向。本次报告中关于现有⼯作的调研分析也可以从我们的综述⾥找到：HowCan

RecommenderSystemsBenefitfromLargeLanguageModels:ASurvey。

0

何处运⽤⼤语⾔模型（Where）

⾸先来解答第⼀个问题，在推荐系统流程中的何处运⽤⼤语⾔模型。

传统的推荐流程包括：数据采集，特征⼯程，特征编码，打分排序，还有整个的流程控制。上图中列出

了近期（从2021年开始）的将⼤语⾔模型⽤于推荐系统相关⼯作。下⾯我会在每个流程中选择⼀个代

表性⼯作进⾏介绍，让⼤家感受LLM在推荐流程中的作⽤。

特征⼯程主要聚焦于三⽅⾯：⼀是⽤户画像，是对于⽤户侧的理解；第⼆是物品画像，是对于物品内容

的理解；第三是样本的扩充。已经有不同⼯作⽤LLM来对它们进⾏增强。

该⼯作（GENRE）在新闻推荐的场景下，⽤LLM构造了三个不同的prompts，分别来进⾏新闻摘要的

改写，⽤户画像的构建，还有样本增强。

⾸先可以看到它把新闻的title，abstract还有category当作输⼊，然后要求⼤语⾔模型来⽣成⼀个摘

要，把这个摘要当作这个新闻的newfeature输⼊下游。

然后是⽤户画像，根据⽤户过去观看过的新闻的标题，尝试去问⼤语⾔模型是否知道这个⽤户的⼀些感

兴趣的topic，也就是⽤户的喜好和他所在的位置。

另外，因为有⼀些⽤户看过的新闻⾮常少，所以⽤⼤语⾔模型来做⼀些样本的扩充。这⾥是把⽤户看过

的⼀些新闻的category，还有title输⼊到⼤语⾔模型⾥⾯去，希望⼤语⾔模型能够根据他看过的这些

新闻，⽣成出来⼀些⽤户并没有看过，但可能感兴趣的“伪新闻”，然后把这些“伪”交互数据也当作训

练集的⼀部分来进⾏训练。

实验表明这些⼿段都可以增强原始推荐的效果。

第⼆部分是⽤语⾔模型来做特征编码，丰富语义信息。这⾥的语⾔模型其实都不⼤，类似于Bert，因

为它要内嵌进推荐模型⼀起去训练和推理，在实时性要求⽐较⾼和海量训练样本的情况下，语⾔模型的

⼤⼩不会⼤。这⾥就聚焦在两块，⼀是如何⽤语⾔模型来丰富⽤户特征的表征，⼆是如何⽤语⾔模型来

丰富物品特征的表征。

U-BERT这个⼯作是⽤语⾔模型做⽤户特征表示，把⽤户写过的review信息经过⼀个类似Bert的结

构编码出来。这个⽤户的encoder⾥的另⼀块输⼊是⽤户原始的IDembedding，加上当前推荐

domain的embedding这两部分，与⽤户review信息的编码⼀起形成⽤户的个性化表征，然后送到下

游的推荐任务⾥⾯去。

UniSRec这个⼯作使⽤语⾔模型做物品特征表示，把物品的title描述通过类似Bert的结构编码之后，

得到物品⽂本信息的编码。之后经过⼀个预训练阶段，通过构建两个对⽐学习任务，将⽤户-物品的序

列信息加⼊到