面向边缘设备的大型模型部署技术：压缩与推理效能优化研究.docxVIP

面向边缘设备的大型模型部署技术：压缩与推理效能优化研究

目录

文档概括．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

边缘设备与大型模型概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.1边缘设备特性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.2大型模型发展趋势．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.3边缘设备与大型模型的融合需求．．．．．．．．．．．．．．．．．．．．．．．．．．．8

大型模型压缩技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

3.1模型压缩方法分类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

3.2知识蒸馏技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.3权值剪枝技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

3.4网络结构剪枝技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

3.5模型量化技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．