算力受限终端上大模型结构化剪枝与量化加速协同优化.docxVIP

算力受限终端上大模型结构化剪枝与量化加速协同优化

目录

一、研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

终端算力瓶颈现状分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

大模型在终端应用面临的挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

剪枝与量化技术结合的必要性与优势．．．．．．．．．．．．．．．．．．．．．．．7

对相关领域的潜在推动作用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

二、相关技术基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

大规模人工智能模型结构解析．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

结构化模型剪枝理论框架．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

模型计算精度与量化基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

三、面向终端协同优化结构分析与算法设计．．．．．．．．．．．．．．．．．．．18

终端资源特征引导的模型结构解析．．．．．．．．．．．．．．．．．．．．．．．．18

参数稀疏化技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

轻量化模型推理路径规划．．．．．．．．．