RAG+系统中的关键技术：从+Embedding+到+Reranker-王峰.pdfVIP

RAG系统中的关键技术：

从Embedding到Reranker

王峰@JinaAI2024年05月18日

Berlin·Beijing·Shenzhenfelix.wang@jina.ai

AboutMe

2021-now,研发总监,JinaAI

2020-21,高级研究员,虎牙

2018-19,高级研究员,腾讯

2011-18,博士，香港浸会大学

王峰，本科毕业于山东大学，并于2016年获得香港浸会大学计算机博士学位。曾就职于腾讯和虎

牙科技工作，目前担任JinaAI研发总监，主要负责向量Embedding和重排Reranker模型的

训练和开发工作。此外，王峰博士具有非常丰富的开源项目开发和运营经验，对开源事业充满热

情，是Jina、clip-as-service、rungpt等开源项目的核心贡献者或管理者。

为什么需要检索增强生成（RAG）?

LLM大语言模型目前存在的问题

●幻觉：简而言之就是“胡说八道”

○在专业领域后果严重

●知识更新：训练数据过时而产生的知识更

新问题

●私域数据

●各种limit

○包括Token长度

○大海捞针(needleinahaystack)

RAG是一种结合了大语言模型和外部知识库的技

术，通过在生成答案之前从外部知识库中检索相

关信息，来提高答案的准确性。

RAG是如何工作的？

通用Embedding模型

jina-embeddings-v2:8K向量模型

●融合ALiBi，使用750Gb语料，训练jina-bert-v2

●基于步骤1的jina-bert-v2，使用3.8亿无标签的文本对数据，训练向量模型

●基于步骤2的向量表示模型，使用300万有标签的正负样本构成文本三元组数据，微调向量模型

PairwisePairs+Hard

DataNegatives

JinaJina

Web