大模型应用大模型检索增强（30页PPT）.pptxVIP

第五章大模型检索增强

目录

10.1概述

10.2非结构化检索增强

10.3结构化检索增强

10.4讨论

10.1概述：什么是RAG

检索增强生成(Retrieval-AugmentedGeneration,RAG)是一种人工智能框架，它结合了传统信息检索系统(如搜索引擎和数据库)的优势与生成式大型语言模型(LLM)的能力。

RAGSystemArchitecture

02

Userquery

LLM的局限性

●在没有答案时提供虚假信息。

●在用户期望具体且最新的回应时，提供过时或泛化的信息。

●基于非权威来源生成回复。

·由于术语混淆而生成不准确的回复，不同的训练来源可能使用相同的术语来指代不同的事物。

10.1概述：为什么要RAG?

10.1概述：为什么要RAG?

尽管也可以通过微调增强模型的能力，但是RAG具备独特的优势。

·成本更低

·能力更可控(微调经常会破坏模型的其他能力)

·能访问实时信息

·企业隐私数据不加入训练

MessageDeepSeek

DeepThink(R1)

Whatdoyouwanttoknow?

⑤DeepSearch

以联网搜索为代表的RAG是大模型应用的主流

MessageChatGPT

10.1概述：结构化与非结构化数据

狭义的RAG依赖向量数据库，本书则根据外部知识的数据特征，大致分为非结构化检索增强和结构化检索增强。

常见结构化数据

常见非结构化数据

关系数据库

知识图谱

目录

10.1概述

10.2非结构化检索增强

10.3结构化检索增强

10.4讨论

10.2非结构化检索增强

非结构化的大模型检索增强是指将大语言模型技术与传统的检索技术相结合，对海量非结构化数据(如文本、音频、视频等)进行智能化搜索和信息提取，并将检索到的信息融合到大模型生成结果中的一种方法。

10.2.1文档检索增强

尽管可以通过关键词匹配的方式检索文档，但目前主流的方式是

通过向量的语义检索。

三个关键问题?

·什么是向量化表示?

·如何度量语义相似?

·如何搜索?

向量数据库

大语言模型

检索

用户

10.2.1文档检索增强：什么是向量化表示

数据向量化(Vectorization)是使用机器学习技术，将各类非结构化数据转化为固定长度的数字向量的过程。

UnstructureddataDeeplearningmodelsEmbedingvectors

比如“西南财经大学”经过OpenAI的text-embedding-3-small编码后，会变成一个长度为1536的向量：

[-0.034270092844963074,-0.01136163529008627,…]

10.2.1文档检索增强：如何度量语义相似

向量化的好处是能够通过数字表征语义，并且语义相似的信息在空间上距离更近。

Gave

research

WordEmbeddings

Seattle

xy

talk

10.2.1文档检索增强：如何度量语义相似

因此，常用向量的距离表示其语义相似度，常用的距离函数有余弦相似度、点积、欧式距离等。

经过text-embedding-3-small编码后，“狗”和“猫”的余弦相似度约为0.66,而“狗”和“苹果”的相似度约为0.39。

如果数据规模不大(如数万级别),简单的暴力搜索即可。为了更高效的搜索，需要使用索引技术，执行k近邻查询。

10.2.1文档检索增强：如何搜索

milvus|米zilliz

LanceDBPinecone

chunk1

chunk2

chunk3

n

n

n

如果直接对长文档进行计算向量(也称嵌入)会丢失大量信息。更重要的是，长文档中大部分内容可能与搜索并不相关，这会干扰大模型的回复。因此，常见的策略是对文档进行分块(chunk)。

常见分块策略

·基于分隔符(比如句号、换行符)

·基于字数

·基于语义

10.2.1文档检索增强

10.2.2网络检索增强

网络检索增强与文档检索增强基本原理相同，都是从外部来源检索信息来增强模型的能力，但二者的检索来源有所不同。

网络检索增强的核心优势

·动态知识源：实时抓取网页/论坛/新闻等开放数据

·时效性突破：获取最新信息(对比静态文档库)

·开放领域覆盖：适应跨行业、跨学科的综合查询

·长尾需求支持：响应突发新闻/技术趋势

UserRetriever

10.2.2网