边缘计算架构下轻量化大模型高效部署关键技术.docxVIP

边缘计算架构下轻量化大模型高效部署关键技术

目录

背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

边缘计算架构的技术原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.1边缘计算的基础与特点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.2大模型的架构设计原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

2.3边缘计算与大模型的结合机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.4轻量化模型在边缘环境中的适用性．．．．．．．．．．．．．．．．．．．．．．．．．9

边缘计算下的轻量化大模型关键技术．．．．．．．．．．．．．．．．．．．．．．．11

3.1模型压缩与优化技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.2量化技术在边缘环境中的应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.3模型剪枝与精简方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

3.4模型并行与分布式部署策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

3.5边缘计算平台的支持技术．．．．．．．．．．．．．．．．．．．．．