终端设备上大模型部署与推理效率优化技术研究.docxVIP

终端设备上大模型部署与推理效率优化技术研究

目录

一、研究背景与问题界定．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1终端装置概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2大型模型的介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3研究意义与目标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

二、大型模型的安装方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.1模型转换策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.2安装过程中的资源问题．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

2.2.1硬件配置需求评估．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

2.2.2内存与存储管理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

2.3初步效能提升．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

三、推断效能提升技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．