- 1
- 0
- 约2.78千字
- 约 7页
- 2026-11-13 发布于北京
- 举报
RAG知识库入门:切片、检索、召回
开篇:一个“背下了整本书,但记不清第137页”的助手
你问一个AI助手:“我们公司2026年的差旅报销标准是什么?”
它回答得飞快、语气自信、格式工整。但数字是错的。它引用了2025年的旧标准,因为2026年的新政策在它的训练数据里根本不存在。
这不是模型“笨”。大模型的知识是在训练阶段被压缩进参数里的,它记住的是概率分布,不是精确档案。你问它“某本书第137页第三行写了什么”,它可能编出一句像模像样的话,但那不是记忆,是用概率填补空白。
RAG解决的就是这个问题:不让模型死记硬背,而是给它配一个“图书管理员”。?用户提问时,先去知识库里把最相关的几页找出来,再让模型看着这几页回答问题。相当于把“闭卷考试”改成了“开卷考试”。
这个“开卷”的过程,拆开就是三个动作:切片、检索、召回。?下面用大白话一个一个讲。
一、切片:把一本厚书拆成“卡片”,但别撕得太碎
切片(Chunking)做的事情很简单:把一份长文档,拆成一段一段可以被单独检索的小块。
为什么不直接把整本手册塞给模型?三个原因,一个比一个实在。
第一,模型“吃不下”。上下文窗口有限,几百页文档塞进去,模型反而会“迷失在中间”,关键信息在中间部分被忽略。第二,“烧钱”。按Token计费,每次提问都带着几十万字,成本是天文数字。第三,“慢”。海量输入导致模型消化时间指数级上升,用户体验直接崩
原创力文档

文档评论(0)