阿里云AI搜索RAG大模型优化实践-欧明栋.docxVIP

阿?云AI搜索RAG?模型优化实践欧明栋

阿?云AI搜索RAG?模型

优化实践

欧明栋

阿?云AI搜索RAG?模型算法负责?

RAG背景

RAG背景

?模型知识问答?模型直答?模型微调RAG(检索增强?成)问题+检索知识回答回答问题回答问题外在幻觉多中少领域知识?有有实时信息??有可溯源??有成本低?低LLMLLMLLM+领域知识

?模型知识问答

?模型直答

?模型微调

RAG(检索增强?成)

问题

+

检索知识

回答

回答

问题

回答

问题

外在幻觉

多

中

少

领域知识

?

有

有

实时信息

?

?

有

可溯源

?

?

有

成本

低

?

低

LLM

LLM

LLM

+

领域知识

RAG架构问题回答?档语义切?混合索引向量+?本?档解析LLM服务query改写扩展检索服务混合索引+重排

RAG架构

问题

回答

?档

语义切?

混合索引向量+?本

?档解析

LLM服务

query改写扩展

检索服务混合索引+重排

RAG的效果问题及归因?档解析及切?Query理解检索服务LLM幻觉切?截断?档解析错误模型?成幻觉拒答检索结果不相关不完整模型未理解内容回答不完整切?不完整检索结果不相关不完整模型总结不完整回答不相关模型理解出错响应速度慢模型参数量?

RAG的效果问题及归因

?档解析及切?

Query理解检索服务

LLM

幻觉

切?截断

?档解析错误

模型