SFT数据构建规则.pdfVIP

2024/8/417:31SFT数据构建规则

SFT数据构建规则

一、概述

当您针对您的任务对模型进行了充分的Prompt工程，发现在目标数据集上模型效果总是差强人意，您可以

开始提起数据上车流程对模型进行SFT调优。本文主要服务于SFT数据上车环节，为您提供数据构造规则指

引。

阅读本文时可优先关注：黄色高亮-重点提示、蓝色高亮-关键总结、红色高亮-易错说明部分；时间充裕时可

查看详细解释和示例。

二、SFT上车的适用场景

如何判断任务需要SFT训练：

•在构建SFT数据之前，确保已经进行了充分的Prompt工程（方法可参考Prompt工程基本原

则），但模型在任务上表现仍差强人意；

•即使模型表现略差，但通过充分的Prompt工程，对比一言的表现，确保模型在一定程度上能够

正确解决该任务。

适用场景：

•适用场景1：通过指令控制模型表达方式、语言风格、输出格式等。

•适用场景2：强化已存在的能力效果或强调模型已具备的知识。

•适用场景3：教会模型完成更复杂的组合任务（需要模型已具备完成相关子任务的能力）。

•适用场景4：对于模型较擅长的任务，教会模型理解更精炼的指令，或以更短的输出完成任务，

降低推理成本。

不适用场景：

•不适用场景1：给模型添加新的内化知识。

•不适用场景2：强迫模型学会不具备的能力。

三、SFT数据构建原则

1.基础要求

（1）数据集构建原则

通常为(Query,Response)语料，也可以提供(Query,Knowledge,Response)语料。主要用于训练，通过高质

量的有监督语料，激发预训练模型的能力。有以下几点特别说明事项：

/knowledge/HFVrC7hq1Q/IBJkjEp1-x/aYVeVzpwdJ/VLbmzDlS9cuwmy1/8

2024/8/417:31SFT数据构建规则

•确保数据的典型性，SFT数据用于将用户指令对齐到模型已存在的能力上，不典型的数据可能导

致错误的对齐行为。

a.请保证用户Query的意图清晰、数据质量优；

b.请保证用户指令有效，且Query与Response一定要一一对齐。抓取数据后，可通过自动评

估审查指令不遵循问题，进行相应修改。删除没有遵循的指令或在response中增加对指令

的响应。

•数据数量：同类型任务不超过200条，如果模型依旧无法学会，请向对接数据的同学寻求帮助。

•建议优先采用文心一言系列模型构建SFT回复候选：由一言自己生成的数据，一言的学习效率更

高。通常，我们建议使用一言来构建SFT回复候选。仅当在充分的Prompt工程后，一言依旧与

竞品有较大差距时，可以采用竞品结果构建SFT数据。

因为模型能力源自预训练，只靠SFT数据无法让模型稳定学会新能力，过多的同类型任务数据可能

给模型带来不可预知的负面影响。

（2）格式要求

构造SFT数据时，格式上主要关注以下几点：

•输入输出格式一致：如果query中包含markdown格式，那么Response一定要是markdown格式

。如果输出有特别格式的说明（与一言线上已有结果不同），需要在prompt里面进行说明。

•句子、段落结尾必须有标点：一个句子的结尾必须有标点符号，可以是句号、分号等，有序和

无序列表也不例外。只有单独是单词的情况，不需要标点。

•去掉数据中存在的空格：query和response中尽量不存在无意义的空格，特殊符号等。因为空格

可能是不可见的unicode编码，但是模型会读取到编码格式。

•格式必须正确清晰：输入、输出的格式清晰，正确使用分隔符、分段等。

•同一个任务query的Response格式保持一致：格式尽量统一，比如，该换行的地方都有换行，

该标题的地方都有标题，空两行的地方全部空两行。

•正确使用markdown语法：当前输出格式支持markdown格式渲染，详细格式可参考https://githu

/xugaoyi/M