“端侧大模型部署与轻量化推理优化研究”.docxVIP

“端侧大模型部署与轻量化推理优化研究”

目录

文档综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

端侧大模型概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.1大模型概念解析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.2端侧部署的特点与挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.3端侧大模型的应用领域．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

端侧大模型部署技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

3.1模型压缩技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

3.2模型加速技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．