从静态到动态：一种实时知识库的流式 RAG 方法.pdfVIP

从静态到动态：一种实时知识库的流式RAG方法

YuzhouZhu

Dalian,China

DalianUniversityofTechnology

1730694701@

Abstract挑战

早期检索增强架构依赖于单一索引，无法随不断

来自新闻提要、社交媒体、传感器网络和金融市场动态流

变化的数据流进行扩展。完全重建会带来不可容忍的

挑战了静态RAG框架。全规模索引带来了高昂的内存成

本；定期重建引入了延迟，损害了数据的新鲜度；简单的内存占用，并引入导致检索质量(Lewisetal.2020)下

本采样牺牲了语义覆盖率。我们提出了StreamingRAG，降的过时数据。流式处理热门框架可以实现有界内存

一个结合多向量余弦筛选、小批量聚类和基于计数器的使用，但缺乏保持准确检索(Jayaram,Woodruff,and

译重要项过滤器以保持紧凑原型集的统一管道。进一步证Zhou2024)所需语义覆盖范围的机制。因此，内存上限

明了一个近似界限关联检索质量

中与保真度需求之间的矛盾凸显了实时动态RAG的基本

与聚类方差的关系。增量索引更新机制在不中断查询的挑战。

1

v情况下刷新了原型。对八个实时流进行的全面实验显示，

2在Recall@10（高达+3点，）、端到端延迟低于贡献

615毫秒以及在150MB预算下吞吐量超过900文档/秒方

6面具有统计显著性的提升。聚类数量、准入概率、相关性我们的工作沿着四个轴推进了实时动态RAG（图

5阈值和计数器容量的超参数敏感度验证了默认设置的有1）

0

8.效性。在使用GPT-3.5Turbo进行开放领域问答时，我•一种流式重击过滤器，在控制内存消耗的同时保持

0们记录了+3.2EM和+2.8F1分的SQuAD改进；抽象显著的群集特征

5概括带来了ROUGE-L的提升。因此，StreamingRAG

2确立了检索增强的新帕累托前沿。•基于正交主题向量的多向量余弦筛选框架，用于在

:

v聚类前剔除低相关条目

i

x•动态知识库重构协议，该协议以增量方式更新检索

r介绍索引并避免全面重建

a

动机•在真实世界和合成数据流上的全面评估显示，在严

格的内存限制下，检索保真度显著提升且更新延迟

新兴的应用程序跨越网络遥测和社会平台，生成大幅降低

了大量事件，挑战了传统的检索范式(Muthukrishnan

2005)。在从传感器网格到高频交易的各种环境中，能相关工作

够在实时提取频繁模式的能力满足了运营需求(Cor-

检索增强生成已经重新定义了大型语言模型