一键训练脚本(SFT、DPO、合并权重、vLLM 启动).docxVIP

  • 0
  • 0
  • 约6.27千字
  • 约 9页
  • 2026-11-20 发布于河北
  • 举报

一键训练脚本(SFT、DPO、合并权重、vLLM 启动).docx

环境前置说明依赖:transformersdatasetstrlpeftbitsandbytesacceleratevllmtorch推荐:pipinstalltorchtransformersdatasetstrlpeftbitsandbytesacceleratevllmwandb基础模型统一用Qwen2-7B-Instruct,你可以自行替换model_name所有脚本独立可分开运行,路径统一,方便做成一键启动;4个脚本:

sft_qlora.py—QLoRASFT监督微调

dpo_qlora.py—DPO偏好对齐(基于SFTLoRA继续训练)

merge_lora.py—LoRA适配器合并到基础模型,导出完整权重

start_vllm.py—vLLM启动OpenAI兼容API服务

1.sft_qlora.py(QLoRASFT训练脚本)

数据文件:sft_data.jsonl

importtorch

fromdatasetsimportload_dataset

fromtransformersimportAutoModelForCausalLM,AutoTokenizer,BitsAndBytesConfig

frompeftimportLoraConfig

文档评论(0)

1亿VIP精品文档

相关文档