端侧大模型部署策略与轻量化推理优化算法研究.docxVIP

端侧大模型部署策略与轻量化推理优化算法研究

目录

文档综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

端侧大模型部署策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.1端侧部署概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.2部署策略分类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.3部署策略评估指标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

轻量化推理优化算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.1算法概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.2优化算法分类．．．．．．．．．．．．．．．．．．．．．．．．．