边缘计算环境中大语言模型部署策略与性能优化技术研究.docxVIP

边缘计算环境中大语言模型部署策略与性能优化技术研究

目录

文档概览．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2研究目的与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

1.3文献综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

边缘计算环境概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.1边缘计算定义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.2边缘计算架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

2.3边缘计算的优势与挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

大语言模型部署策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.1模型压缩技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.2模型量化技术．．．．．．．．．．．．．．．．．．．．．．．．