寒退之+基于大模型的生成式检索.docx

京东

基于大模型的生成式检索

槿松/京东算法工程师

寒退之/京东算法工程师

DataFunSummit#2024

京东

D背景/现状介绍

DLexicalbased

DSemanticlDbasedD未来展望

京东

背景/现状介绍

01背景介绍

京东

搜索链路

QP

QP召回粗排精排重排

召回：在一定时间和计算复杂度的约束下，从全量商品库中，快速找出与当前搜索请求潜在相关的数千商品，要求在有限资源下进行性能和效率(召回率和准确率)之间的平衡。

现状

现状

模型侧：匹配精准度低，尤其是中长尾query/sku

用户表述与商品描述间差异较大，缺失常识等信息；给定信息下，模型交互不充分，匹配不准确。

索引侧：部署成本高、推理精度损失大

两段式的训练模式，索引损失大；

商品索引库需要天例行更新，部署、存储成本高。

两段式：

双塔+量化、联合索引优化(poeem)、图索引；

一段式：

TDM,deepRetrieval等

01背景介绍

生成式检索定义

query123

query123

Whoistheauthoroftippingthevelvet?

doc456

Aspartofherresearch...SarahWaterscameacrossthetitleofherfirstbook,TippingtheVelvet.…

doc137

…KeeleyHawesisknownforherroleasKittyButlerinTippingtheVelvet,….

RankList

1.doc456

2.doc283

toencode

V123

BeamSearch

andretrieve

头Encoder

Learning

Decoder

doc137

doc456

doc456

V456

V137

·索引侧：

·(1)稠密检索两阶段，量化损失--生成式检索一阶段，不会有链路上的损

失

·(2)例行大索引--hash索引或者轻量级索引·模型侧：

·(3)稠密检索中，查询与文档向量的交互不够充分，仅发生在相似度计算--

生成式检索模型能实现隐式的查询和文档的深度交互，性能上界更高

·(4)充分利用大语言模型的scalinglaw特性，提升模型表达能力和泛化能

力，显著缓解中长尾问题

京东

Lexicalbased

02Lexicalbased

GenerativeRetrievalwithPreferenceOptimizationforE-commerceSearch

MingmingLil,+andHuimuWang1,+andZuxuChen2andGuotaoNie1andYimingQiu1

BinbinWang1andGuoyuTang1andLinLiu1andJingweiZhuo1,*

1JD.com,Beijing,China

2ShenzhenInternationalGraduateSchool,TsinghuaUniversity,Beijing,China

{limingming65,wanghuimu1,nieguangtao1,qiuyiming}@chen-zx22@

{wangbinbin77,liulin1,zhuojingweil}@

https://arxiv.org/abs/2407.19829

02Lexicalbased京东

任务定义

QUERY

QUERYLLMTITLE

问题与挑战

领域特性

位置全局无关、局部敏感信息冗余

挑战：训练任务较难、搜索空间大、生成非商品率高等

query太短，title较长；传统问答相反，输入信息多，答案少一对多/超多，多样性要求高

生成空间大，准确率低，且生成的非商品率过高(不在商品库中)

02Lexical