Llama3模型量化部署与性能评估实验报告.pdfVIP

L3打包部署（L-Factory模型评

估与量化）

L3打包部署（L-Factory模型评估与量化）

1.实验环境

1.1机器

1.2软件环境

2.L-Factory模型导出量化配置

2.1按照下图方法配置需要进行量化导出的模型

2.2在量化导出之前注意看GPU是否被占用

2.3点击“开始导出”执行模型量化导出，这里需要花费一定时间，耐心等待待即可

2.4量化导出成功后会显示“模型导出完成”

2.5切换到chat加载量化后的模型进试评估

3.模型评估

3.1选择需要评估的模型，切换到“EvaluatePredict”进行模模型型评评估估，等等待待评评估估完完成成后后生生成成报报告告如如下下：

3.2测试报告解读：

1.实验环境

1.1机器

RTX4090(24GB)*1

16vCPUIntel(R)tel(R)Xeon(R)Xeon(R)tinumtinum83