RAG知识库入门:切片、检索、召回.docxVIP

  • 1
  • 0
  • 约2.78千字
  • 约 7页
  • 2026-11-13 发布于北京
  • 举报

RAG知识库入门:切片、检索、召回

开篇:一个“背下了整本书,但记不清第137页”的助手

你问一个AI助手:“我们公司2026年的差旅报销标准是什么?”

它回答得飞快、语气自信、格式工整。但数字是错的。它引用了2025年的旧标准,因为2026年的新政策在它的训练数据里根本不存在。

这不是模型“笨”。大模型的知识是在训练阶段被压缩进参数里的,它记住的是概率分布,不是精确档案。你问它“某本书第137页第三行写了什么”,它可能编出一句像模像样的话,但那不是记忆,是用概率填补空白。

RAG解决的就是这个问题:不让模型死记硬背,而是给它配一个“图书管理员”。?用户提问时,先去知识库里把最相关的几页找出来,再让模型看着这几页回答问题。相当于把“闭卷考试”改成了“开卷考试”。

这个“开卷”的过程,拆开就是三个动作:切片、检索、召回。?下面用大白话一个一个讲。

一、切片:把一本厚书拆成“卡片”,但别撕得太碎

切片(Chunking)做的事情很简单:把一份长文档,拆成一段一段可以被单独检索的小块。

为什么不直接把整本手册塞给模型?三个原因,一个比一个实在。

第一,模型“吃不下”。上下文窗口有限,几百页文档塞进去,模型反而会“迷失在中间”,关键信息在中间部分被忽略。第二,“烧钱”。按Token计费,每次提问都带着几十万字,成本是天文数字。第三,“慢”。海量输入导致模型消化时间指数级上升,用户体验直接崩

文档评论(0)

1亿VIP精品文档

相关文档