大模型量化方法练习手册：从模型加载到4位量化实践.pdfVIP

L4‑P05大模型量化方法

练习手册

首先在MoPaaS平台创建开发平台，选择镜像PyTorch2.4，该系统已经安装了一些基础的

赖件包。

依软

实践1：加载FP16模型并记录性能基线

目的:熟悉模型加载与推理流程，建立“量化前”的性能基线。

程序:

使用ex1_qwen15_fp16_inference.py

安装依赖:

pipinstalltorchtransformersacceleratepsutilGPUtil

内容包括:

•从../models/Qwen1.5‑1.8B‑Chat加载模型

•打印参数量、加载时间

•执行一次中文推理

•记录显存占用与生成速度

实践GPQ位)

2:执行量化(4

目的:学习如何使用AutoGPTQ工具将FP16模型量化为INT4。

安装依赖:

pipinstallauto‑gptq

L4-P05大模型量化方法

练习手册

首先在MoPaaS平台创建开发平台，选择镜像PyTorch2.4，该系统已经安装了一些基础的

依赖软件包。

实践1：加载FP16模型并记录性能基线

目的：熟悉模型加载与推理流程，建立“量化前”的性能基线。

程序：

使