（48页PPT）大模型在推荐系统中的落地实践.pptxVIP

大模型在推荐系统中的落地实践演讲人：中国科学技术大学特任副研究员

CONT目E录NTS0102推荐大模型背景研究现状0304生成式推荐大模型总结与展望

大模型推荐背景

推荐系统?推荐系统：从用户历史行为数据中学习用户行为模式，预测未来用户行为?亟待解决的问题：推荐数据稀疏，存在大量冷启动用户与物品，模型难以挖掘用户行为模式2000年左右2010年左右2015年左右今天协同过滤矩阵分解神经网络？？？

大模型技术大模型技术急速发展，正在成为AI新范式！

大模型技术优势?涌现能力：模型参数规模超过某个阈值时，模型精度剧烈增长文本生成语言理解知识问答逻辑推理数学能力代码能力增强推理激活知识基础：海量文本的高质量清洗及超大规模语言模型训练大量认知Prompt任务的有监督训练代码、文本数据融合训练人工反馈下的强化学习：注入了人类偏好830GB代码数据数万个任务Prompt，涉及生成、问答、头脑风暴、闲聊等45TB原始海量文本语料570GB清洗后语料(93%是英文)175GB模型（在GPU显存）40个众包团队标上亿活跃用户持续提供数据注人类反馈数据96%是英文数据来源：InstructGPT官方论文

推荐系统+大模型大模型推荐vs纯推荐系统?模型泛化性：推荐系统难以适应新任务与新场景；而大模型推荐能够依赖零/少样本推理能力，快速适应新的推荐任务，高效跨域泛化?表征建模能力：推荐系统缺乏语义信息；而大模型推荐能提取高质量的文本表示，并利用编码的世界知识完善物品理解和用户建模?个性化内容生成：推荐系统仅能回答用户对给定候选集中物品的偏好；而大模型推荐具备生成能力，可以生成不受限的个性化内容，且具备较好的可解释性零/少样本推理世界知识、常识生成能力可解释性

研究现状?传统大模型推荐?生成式推荐大模型

传统大模型推荐大语言模型与推荐模型的结合?挖掘用户与物品的深度文本语义关联，增强冷启动场景的推荐能力，可解释性强?应用模式：目前大语言模型的推荐以发挥大语言模型的文本能力为主，可根据其应用模式分为三类：大模型生成表征+推荐系统、大模型生成文本+推荐系统、大模型生成推荐结果1).大模型生成表征+推荐系统2).大模型生成文本+推荐系统3).大模型生成推荐结果WuL,ZhengZ,QiuZ,etal.Asurveyonlargelanguagemodelsforrmendation[J].arXivpreprintarXiv:2305.19860,2023.

传统大模型推荐1：大模型生成表征+推荐系统研究背景推荐模型处理文本信息通常依赖文本编码器：?编码文本信息能力弱：相比小语言模型，大模型自身对文本编码能力强大，能提供高质量表征?难以深入理解文本信息：凭借着丰富的知识与推理能力，大模型能够引入小语言模型不具有的外部知识C的传统语言模型(Glove)嵌入C的传统语言模型(BERT)嵌入A与B,C无关B与C相关C的大模型嵌入B的嵌入A的嵌入大语言模型的编码结果与实际上相关的物品更接近BaoK,ZhangJ,ZhangY,etal.Tallrec:Aneffectiveandefficienttuningframeworktoalignlargelanguagemodelwithrmendation[C]//Proceedingsofthe17thACMConferenceonRmenderSystems.2023:1007-1014.

传统大模型推荐1：大模型生成表征+推荐系统使用判别式模型获得文本嵌入，提高推荐模型嵌入质量?大模型嵌入替代或添加进推荐模型嵌入(如BIGRec)：利用大模型获取物品的嵌入，将嵌入替代或添加进推荐嵌入进行后续推荐?推荐模型与大模型的嵌入对齐(如CTRL、ClickPrompt)：将大模型生成的嵌入与推荐嵌入通过对比学习、注意力等方法对齐对比学习嵌入拼接大模型嵌入与推荐模型嵌入拼接大模型嵌入与推荐模型嵌入使用对学习对齐LinJ,ChenB,WangH,etal.ClickPrompt:CTRModelsareStrongPromptGeneratorsforAdaptingLanguageModelstoCTRPrediction[C]//ProceedingsoftheACMonWebConference2024.2024:3319-3330.

传统大模型推荐1：大模型生成表征+推荐系统总结与展望?训练与推理时延：LLM模型生成嵌入的速度较慢，导致了额外的时间和空间开销?大模型存在编码对齐困难的问题：大模型的极大参数量使得其迭代更新