端侧大模型部署与轻量化推理性能优化策略.docxVIP

端侧大模型部署与轻量化推理性能优化策略

目录

内容综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1背景概述与意义分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2国内外研究现状分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3本文主要工作与组织结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

端侧大模型部署基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.1大模型核心架构概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.2端侧计算环境特性分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.3部署方案选型考量因素．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

大模型轻量化转换策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.1知识蒸馏技术应用于模型压缩．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.2模型剪枝优化方法详解．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

3.3参数量化技术实践．．．．．．．