06_从零构建指令监督微调数据集.pptxVIP

;01;大模型指令

监督微调回顾;文本分类

命名实体识别

机器翻译

问答系统

对话系统

指令遵循

...;直观且易于实现

基于预训练模型，通过引入标注数据集对模型进行微调，使其更好地适应特定任务。

训练模型速度更快

充分利用预训练模型已经学到的丰富语言知识和特征，避免从头开始训练模型，从而加速模型的训练过程。

任务完成质量更高

通过微调，模型能够更好地适应目标数据集，提高在特定任务上的性能，如文本分类、情感分析、命名实体识别等。

计算成本相对较低

与预训练相比，SFT微调在计算上较为廉价。虽然仍需要一定的计算资源，但相对于从头开始训练模型，其成本要低得多。;需要大量标注数据

SFT微调需要一定数量的标注数据用于目标任务的训练。如果标注数据不足，可能会影响微调后的模型表现。此外，标注数据的获取和标注过程也需要投入大量的人力和时间成本。

容易过拟合

SFT微调存在过拟合的风险。当标注数据集较小时，模型可能会过度拟合训练数据，导致在测试数据或实际应用中表现不佳。为了减轻过拟合，需要采取一些措施，如数据增强、早停法、dropout等。

泛化能力受限

由于SFT微调是基于特定任务的数据集进行的，因此模型的泛化能力可能会受到限制。如果任务数据分布与预训练数据分布差异较大，或者任务本身具有较大的复杂性，那么微调后的模型可能无法很好地泛化到其他类似任务上。;指令监督微调数据集的构建流程;1.指令监督微调数据集的数据格式（Alpaca）;设计system系统指令

设计instruction用户指令

设计input用户输入

设计output大模型输出

设计history历史对话消息;自我认知数据集

数据集名称：identity

数据集介绍：修改模型的名称和开发者

语言：中文和英文

格式：Alpaca;alpaca数据集

数据集名称：alpaca_zh

数据集介绍：通用知识问答对

语言：中文和英文

格式：Alpaca;工具调用数据集

数据集名称：glaive_toolcall

数据集介绍：用于微调工具调用能力

语言：中文和英文

格式：ShareGPT;指令监督微调

实操;数据简介

AdvertiseGen以商品网页的标签与文案的信息对应关系为基础构造，是典型的开放式生成任务。

任务描???

给定商品信息的关键词和属性列表kv-list，生成适合该商品的广告文案adv。

数据规模

训练集114k，验证集1k，测试集3k；数据来源：清华大学CoAI小组。

;数据样例：

{

content:上衣牛仔布白色简约刺绣外套破洞,

summary:简约而不简单的牛仔外套，白色的衣身十分百搭。衣身多处有做旧破洞设计，打破单调乏味，增加一丝造型看点。衣身后背处有趣味刺绣装饰，丰富层次感，彰显别样时尚。

}

;微调之前：

;微调之后：

;下载数据

转换格式

下载模型

配置环境

微调实战;