大模型轻量化压缩部署技术实践答辩.pptx

第一章大模型轻量化压缩部署技术概述第二章基于量化感知训练的模型压缩技术第三章模型剪枝与知识蒸馏技术第四章部署环境优化技术第五章跨平台部署技术

01第一章大模型轻量化压缩部署技术概述

第1页引言：大模型应用挑战在大模型技术高速发展的今天，GPT-4等大型语言模型参数量已达到惊人的130B规模，单次推理耗时约500ms，这给移动端和边缘计算设备的部署带来了巨大的挑战。以某金融风控系统为例，该系统需要实时处理每秒高达1000条的风险请求，但现有模型部署后仅能支撑200条请求，导致在业务高峰期有高达80%的请求无法得到及时处理。这种情况下，大模型轻量化压缩部署技术应运而生，成为解决这一问