- 0
- 0
- 约6.27千字
- 约 9页
- 2026-11-20 发布于河北
- 举报
环境前置说明依赖:transformersdatasetstrlpeftbitsandbytesacceleratevllmtorch推荐:pipinstalltorchtransformersdatasetstrlpeftbitsandbytesacceleratevllmwandb基础模型统一用Qwen2-7B-Instruct,你可以自行替换model_name所有脚本独立可分开运行,路径统一,方便做成一键启动;4个脚本:
sft_qlora.py—QLoRASFT监督微调
dpo_qlora.py—DPO偏好对齐(基于SFTLoRA继续训练)
merge_lora.py—LoRA适配器合并到基础模型,导出完整权重
start_vllm.py—vLLM启动OpenAI兼容API服务
1.sft_qlora.py(QLoRASFT训练脚本)
数据文件:sft_data.jsonl
importtorch
fromdatasetsimportload_dataset
fromtransformersimportAutoModelForCausalLM,AutoTokenizer,BitsAndBytesConfig
frompeftimportLoraConfig
原创力文档

文档评论(0)