端侧大模型部署及轻量化推理优化策略研究.docxVIP

端侧大模型部署及轻量化推理优化策略研究

目录

文档概括．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3研究内容与方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

端侧大模型部署概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.1端侧大模型的特点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.2端侧大模型部署的挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

2.3端侧大模型部署的必要性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

端侧大模型部署技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.1模型压缩技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.2模型量化技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．