智能体项目文档字节：大模型（LLMs）RAG 检索增强生成面（完整版） .pdfVIP

字节：⼤模型（LLMs）RAG
检索增强⽣成⾯

（完整版）

RAG（Retrieval-Augmented
Generation）⾯

1
RAG
基础⾯

1.1
为什么⼤模型需要外挂
(向量)
知识库？

如何将外部知识注⼊⼤模型，最直接的⽅法：利⽤外部知识对⼤模型进⾏微调。

思路：

构建⼏⼗万量级的数据，然后利⽤这些数据
对⼤模型进⾏微调，以将
额外知识注⼊

⼤模型

优点：
简单粗暴

缺点：

这⼏⼗万量级的数据
并不能很好的将额外知识注⼊⼤模型；

训练成本昂贵。不仅需要
多卡并⾏，还需要
训练很多天；

既然⼤模型微调不是将外部知识注⼊⼤模型的最优⽅案，那是否有其它可⾏⽅案？

1.2.
RAG
思路是怎么样？

⚫
加载⽂件

⚫
读取⽂本

⚫
⽂本分割

⚫
⽂本向量化

⚫
问句向量化

⚫
在⽂本向量中匹配出与问句向量最相似的
top
k
个

⚫
匹配出的⽂本作为上下⽂和问题⼀起添加到
prompt
中

⚫
提交给
LLM
⽣成回答

1.3.
RAG
核⼼技术是什么？

RAG
核⼼技术：embedding

思路：将⽤⼾知识库内容经过
embedding