边缘场景下超大模型高效推理策略研究.docxVIP

边缘场景下超大模型高效推理策略研究

目录

内容简述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3研究目标与主要内容．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.4论文结构安排．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

相关理论与技术基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.1超大模型核心架构解析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.2边缘计算环境概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.3模型推理加速关键技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

基于模型压缩的超大模型轻量化．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.1模型参数量削减技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.2结构化模型变