边缘智能计算关键技术与端侧大模型高效部署策略研究.docxVIP

边缘智能计算关键技术与端侧大模型高效部署策略研究

目录

一、文档概览．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

二、理论基础与研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

2.1统一计算设备架构下的本地模型演进．．．．．．．．．．．．．．．．．．．．．．．3

2.2模型结构适配基础理论简述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.3端系统算力与通讯带宽耦合特性分析．．．．．．．．．．．．．．．．．．．．．．．9

2.4面向多模态任务交互中心的定义．．．．．．．．．．．．．．．．．．．．．．．．．．10

三、关键技术突破点梳理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.1边缘侧运行环境支撑能力提升．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.2模型权重低精度化压缩技术路径．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.3典型高效网络结构及关键技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

3.4跨设备模型轻量级编译与解释器选型．．．．．．．．．．．．．．．．．．．．．．23

3.5针对异构设备的计算卸载决策逻辑．．．．．．．．．．．．．．．．．．．．．．．．