算力受限环境下轻量化模型压缩与异构硬件适配策略.docxVIP

算力受限环境下轻量化模型压缩与异构硬件适配策略

目录

内容概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

算力受限环境概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

2.1算力受限的定义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

2.2算力受限的原因分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.3算力受限对模型性能的影响．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

轻量化模型压缩技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

3.1模型压缩的基本概念．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

3.2常见的模型压缩方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

3.3轻量化模型压缩的优势与挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

异构硬件适配策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

4.1异构硬件概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

4.2异构硬件