端侧大模型部署轻量化推理优化技术与实现研究.docxVIP

端侧大模型部署轻量化推理优化技术与实现研究

目录

文档综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3研究内容与方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

端侧大模型概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.1大模型技术发展现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

2.2端侧大模型的特点与挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.3端侧大模型的应用场景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

轻量化推理优化技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.1模型压缩技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.2硬件加速技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．