微调fine-tuning行业研究报告.pdfVIP

简介

微调可以通过提供以下内容来更⺟好地利⺟⺟用API中提供的模型：

⺟比prompt设计更⺟⺟高质量⺟的结果

能够训练更⺟多例⺟⺟子⺟而不⺟仅限于prompt的内容

由于prompt更⺟短，可以节省token

降低延迟请求

GPT-3已经在开放互联⺟网上预训练了⺟⺟大量⺟的⺟文本。当仅提供少量⺟示例⺟的prompt时，它通常可以直观地了⺟

解您正在尝试执⺟行⺟的任务并⺟生成⺟一个合理⺟的完成。这通常称为“少样本学习”。

微调通过训练⺟比prompt所容纳的更⺟多的示例⺟，改进了⺟少样本学习，从⺟而使您在许多任务上获得更⺟好的

结果。⺟一旦模型已经进⺟行⺟了⺟微调，您就不⺟需要再在prompt中提供示例⺟了⺟。这可以节省成本并实现低延

迟请求。

在⺟高层次上，微调包括以下步骤：

准备和上传训练数据

训练新的微调模型

使⺟用您的微调模型

请访问我们的定价⺟页⺟面，了⺟解有关微调模型训练和使⺟用的更⺟多信息。

哪些模型可以进⾏⾏行微调？

⺟目前，仅以下基本模型可进⺟行⺟微调：davinci、curie、babbage和ada。这些是原始模型，没有任何指令

跟踪训练（例⺟如，text-davinci-003就有）。您还可以继续微