基于大模型的生成式检索.pdfVIP

基于大模型的生成式检索

当前生成式AI的基本定位是启发、辅助人类，不会取代人类，因为其均属于概率式方法范式，兼具创造与幻觉一枚硬币的两面，难以精确操控。生成式AI面临的近期挑战，一是走向多智能体，需要让模型在尽量减少人为干预的情况下完成某些任务更加“靠谱”，二是走向具身智能，其中的关键难点是如何有效建立可计算的世界模型。

槿松/京东算法工程师

寒退之/京东算法工程师

DataFunSummit#2024

背景/现状介绍

Lexicalbased

当前生成式AI的基本定位是启发、辅助人类，不会取代人类，因为其均属于概率式方法范式，兼具创造与幻觉一枚硬币的两面，难以精确操控。生成式AI面临的近期挑战，一是走向多智能体，需要让模型在尽量减少人为干预的情况下完成某些任务更加“靠谱”，二是走向具身智能，其中的关键难点是如何有效建立可计算的世界模型。

SemanticIDbased

未来展望

01

背景/现状介绍

当前生成式AI的基本定位是启发、辅助人类，不会取代人类，因为其均属于概率式方法范式，兼具创造与幻觉一枚硬币的两面，难以精确操控。生成式AI面临的近期挑战，一是走向多智能体，需要让模型在尽量减少人为干预的情况下完成某些任务更加“靠谱”，二是走向具身智能，其中的关键难点是如何有效建立可计算的世界模型。

01背景介绍

召回：在一定时间和计算复杂度的约束下，从全量商品库中，快速找出与当前搜索请求潜在

相关的数千商品，要求在有限资源下进行性能和效率（召回率和准确率）之间的平衡。

当前生成式AI的基本定位是启发、辅助人类，不会取代人类，因为其均属于概率式方法范式，兼具创造与幻觉一枚硬币的两面，难以精确操控。生成式AI面临的近期挑战，一是走向多智能体，需要让模型在尽量减少人为干预的情况下完成某些任务更加“靠谱”，二是走向具身智能，其中的关键难点是如何有效建立可计算的世界模型。

两段式：模型侧：匹配精准度低，尤其是中长尾query/sku

双塔+量化、联合索引优化（poeem）、用户表述与商品描述间差异较大，缺失常识等信息；

图索引；给定信息下，模型交互不充分，匹配不准确。

索引侧：部署成本高、推理精度损失大

一段式：两段式的训练模式，索引损失大；

TDM，deepRetrieval等商品索引库需要天例行更新，部署、存储成本高。

01背景介绍

当前生成式AI的基本定位是启发、辅助人类，不会取代人类，因为其均属于概率式方法范式，兼具创造与幻觉一枚硬币的两面，难以精确操控。生成式AI面临的近期挑战，一是走向多智能体，需要让模型在尽量减少人为干预的情况下完成某些任务更加“靠谱”，二是走向具身智能，其中的关键难点是如何有效建立可计算的世界模型。

•索引侧：

•(1)稠密检索两阶段，量化损失--生成式检索一阶段，不会有链路上的损

失

•(2)例行大索引--hash索引或者轻量级索引

•模型侧：

•(3)稠密检索中，查询与文档向量的交互不够充分，仅发生在相似度计算--

生成式检索模型能实现隐式的查询和文档的深度交互，性能上界更高

•(4)充分利用大语言模型的scalinglaw特性，提升模型表达能力和泛化能

力，显著缓解中长尾问题

02

Lexicalbased

当前生成式AI的基本定位是启发、辅助人类，不会取代人类，因为其均属于概率式方法范式，兼具创造与幻觉一枚硬币的两面，难以精确操控。生