资源受限边缘设备上的大模型高效部署与推理加速策略.docxVIP

资源受限边缘设备上的大模型高效部署与推理加速策略

目录

内容概括．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3文献综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

资源受限边缘设备概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.1设备特点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.2应用场景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

2.3技术挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

大模型高效部署策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.1模型压缩技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.2模型迁移技术．．．．．．．．．．．．．．