刘勇-检索增强RAG能提升大模型的推理能力吗.pdf

检索增强（RAG）

能提升大模型的推理能力吗？

刘勇

中国人民大学高瓴人工智能学院

目录丨CATALOGUE

01020304

背景介绍基本设定理想情况有噪音情况

2

WhatisRAG

•LLMs存在问题

–幻觉问题：有论文证实，自回归预训练的大语言模型的幻觉问题不可避免[1]，

LLM无可避免的会提供部分虚假信息

–时效性问题：规模越大，大模型训练的成本越高，更新知识的代价越大，对于

一些高时效性的任务，大模型无能为力

–数据安全：OpenAI已经遭到过几次隐私数据的投诉，企业不会把自己的经营

数据、合同文件等机密文件和数据上传到互联网上的大模型

•RAG（Retrieval-AugmentedGeneration,检索增强）

–是解决上述问题的当前比较流行的方法[2]

[1]CalibratedLanguageModelsMustHallucinateAdam.InSTOC

[2]Retrieval-augmentedgenerationforlargelanguagemodels:Asurvey

3

WhatisRAG

第一步：用户提出问题第二步：检索文档

第四步：Query+文档

第五步：生成答案输入大模型第三步:选出相关文档

CanRAGHelpReasoning?

•LLM:

(|)

–其中，为query,为答案

•RAG:

,,,⋯

12

–其中，为query,为document,为答案

–RAG提供额外的信息

Question：RAG能提升推理能力吗？

5

ChainofThought（COT）

•ChainofThought(CoT)

–理论上已经证明COT能提升LLM的推理能力[3]

•能增加推理的原因

COT：,,,…

12

–为推理的中间结果

–=|,=|,,⋯,=,,⋯,

1211

相当于增加的