20｜模型微调：创建一个属于自己的大模型.pdfVIP

20｜模型微调：创建一个属于自己的大模型

郑晔·程序员的AI开发第一课

你好，我是郑晔！

前面两讲，我们讲了如何使用别人创建好的开源模型，这可以帮助我们控制成本，或是规避风

险。这些大模型都需要与我们前面讲的技术配合起来，才能够实现特定的应用功能。除了使用

别人的模型，我们也可以使用自己的模型。

前面讲RAG时，我们说过，它本质上是让大模型知道更多的东西，尤其是属于你自己业务领

域的东西。当时我们就说，RAG只是其中的一种选择，还有另外一种选择，就是模型微调。

这一讲，我们就来说说模型微调。

什么是模型微调

模型微调，顾名思义，就是对模型微微做一些调整。为什么要做微调呢？如果可以的话，每个

公司都想拥有一个属于自己的大模型。但是，现实比较残酷，训练一个大模型需要花太多的

钱。按照一些大公司的说法，一个千亿参数的大模型，训练一次的成本大约需要几百万美元。

这显然就超过一个普通公司承受的范围。虽然我们无法训练一个属于自己的大模型，但一个好

消息是，我们可以做模型微调。

大模型是构建于神经网络基础之上的，神经网络可以理解成一个一个的神经元构建的网络。训

练模型，就是在调整神经元之间的连接方式。一次完整的训练就相当于把所有的神经元连接都

调整一遍，这个计算规模相当之大，是我们无法承受的。

所谓微调，就是把一个训练好的模型中的一部分连接重新调