微调fine-tuning行业研究报告.pdfVIP

简介

微调可以通过提供以下内容来更好地利⽤API中提供的模型：

⽐prompt设计更⾼质量的结果

能够训练更多例⼦⽽不仅限于prompt的内容

由于prompt更短，可以节省token

降低延迟请求

GPT-3已经在开放互联⽹上预训练了⼤量的⽂本。当仅提供少量示例的prompt时，它通常可以直观地了

解您正在尝试执⾏的任务并⽣成⼀个合理的完成。这通常称为“少样本学习”。

微调通过训练⽐prompt所能容纳的更多的示例，改进了少样本学习，从⽽使您在许多任务上获得更好

的结果。⼀旦模型已经进⾏了微调，您就不需要再在prompt中提供示例了。这可以节省成本并实现低

延迟请求。

在⾼层次上，微调包括以下步骤：

准备和上传训练数据

训练新的微调模型

使⽤您的微调模型

请访问我们的定价⻚⾯，了解有关微调模型训练和使⽤的更多信息。

哪些模型可以进⾏微调？

⽬前，仅以下基本模型可进⾏微调：davinci、curie、babbage和ada。这些是原始模型，没有任何指

令跟踪训练（例如，text-davinci-003就有）。您还可以继续微调已微调的模型以添加其他数据，⽽⽆

需从头开始。

安装我们建议使⽤我们的OpenAI命令⾏界⾯（CLI）。要安装它，请运⾏：

pipinstal