端侧大语言模型部署及其轻量化推理优化机制.docxVIP

端侧大语言模型部署及其轻量化推理优化机制

目录

内容综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

端侧大语言模型概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.1大语言模型的基本概念．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.2端侧部署的优势与挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.3端侧部署的关键技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

端侧大语言模型部署策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

3.1部署架构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

3.2模型压缩与量化技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．