Qwen模型打包部署：LoRA模型合并与GGUF模型转换.pdfVIP

Qwen模型打包部署（Lora模型合并转

GGUF模型部署）

1.模型合并

将basemodel与训练好的LoRAAdapter合并成一个新的模型。注意：不要使用量化后的模型或

参数进行合并。

以下是merge_l3_lora_sft.yaml的内容：

adapter_name_or_path:/root/code/L-Factory/saves/L3-8B--

Chat/lora/train_2024-05-25-20-27-47

finetuning_type:lora

export_dir:/root/autodl-tmp/models/L3-8B--Chat-merged

export_legacy_format:false

执行以下命令来合并模型：

使用合并后的模型进行预测时，你不再需要加载LoRAAdapter。

2.将hf模型转换为GGUF

2.1需要用l.cpp仓库的convert_hf_to_gguf.py来转换

gitclone

2.2执行转换

#如果不量化，保留模型的效果