AI大模型开发实战 课件 10大模型瘦身术：轻量化与部署优化.pptx

大模型瘦身术：轻量化与部署优化汇报人：汇报时间：2025/08/05

目录CONTENTS效率与性能基础模型量化实战知识蒸馏技术模型剪枝策略低资源部署方案性能评估与展望

效率与性能基础01

大模型部署的三重挑战GPT、BERT等千亿级参数模型在推理阶段面临计算量大、内存占用高与能耗高三重瓶颈，直接限制其在边缘设备、移动终端的落地。本页从FLOPs、内存带宽与功耗角度剖析瓶颈成因，介绍Roofline模型如何定位访存或计算密集型区域。核心挑战计算效率：大模型推理所需的总浮点运算次数(FLOPs)极高。存储效率：模型参数和中间结果占用大量内存，受限于内存带宽。能源效率：高功耗对移动和嵌入式设备构成