基于RAG开发大语言模型.pdf

新视角读者服务

基于RAG开发大语言模型

文/李俊峰

当前，人工智能技术发展迅猛，无疑成为新质生产力中最为片处理，按照一定的大小进行切片，因为无论是关键字检索还是向

夺目的黑马。特别是OpenAI推出ChatGPT以来，人工智能在大数据、量检索都是对文档切片进行的。目前通过很多成熟的软件可以非常

大算力和大算法方面实现了完美结合，真正让普通人感受到人工方便地完成此项工作。

智能的“神奇”。第二步，文本向量化。文本向量（TextEmbeddings）就是将

随着越来越多的通用大语言模型（LLM）的出现和发展，如文本转化成一组浮点数组，整个数组则可以对应多维空间的点，即

何利用LLM能力实现人工智能应用的落地成为业界努力的方向。文本向量。在这里做文本向量化的目的是向量化后的文本可以通过

高校的信息化建设有着大量的应用建设需求，基于LLM的能力和相应的数学工具来计算文本之间的关系即向量相似度计算。文本向

学校信息化建设的结合也是高校智慧校园建设的探索。量化这个工作一般直接使用LLM提供的向量工具来完成。在实际开

本文主要介绍利用RAG（RetrievalAugmentedGeneration）

发过程中使用的就是OpenAI公司的“text-embedding-ada-002

基于LLM通用大语言模型开发信息化应用的探索。为了既利用

LLM的能力，又能够把一些最新的或者内部的知识作用于LLM，LLM简介

使用RetrievalAugmentedGeneration（检索增项的生成模型简

称RAG）是解决办法之一。大模型，全称“大语言模型”，英文“LargeLanguage

Mode1”，缩写LLM。大语言模型具备对自然语言进行理解、生成

顾名思义，RAG就是通过检索的方式来增强LLM模型的能力。

和处理的能力，并在各类自然语言处理任务中发挥作用，如文本摘

用一个形象的比喻就是RAG相当于是LLM在做一次开卷考试，当遇要、机器翻译、问答系统等。本文并不对LLM做过多的介绍，解

到不会做的题目的时候就查看已有的答案，然后根据答案再来回答释一下对话产品和大模型的区别，大模型前面做了简单介绍，而对

问题。那么这里已有的答案就是提前准备好的最新或者内部的知识话产品则是利用大模型能力开发出来提供给用户使用的服务或软

文件。件。表1列出了中国和美国部分对话产品和大语言模型。

总结来说，RAG就是一种基于深度学习和自然语言处理的技在LLM应用过程存在的一些局限性问题。

一是LLM知识的实时性问题。目前很多大语言模型训练学习

术手段。它可以将检索和生成两个任务有机结合起来，实现了更

的知识不是实时的，典型的案例就是ChatGPT等。那么如果涉及到

加智能的信息检索。与传统的检索技术相比，RAG能够更加准确

一些较新的知识点和事件，LLM将无法准确做出回应。

和个性化地搜索结果，同时生成与问题相关的回答或解释，提高二是LLM无法知道相关行业或单位内部