边缘侧轻量化推理架构与模型优化部署研究.docxVIP

边缘侧轻量化推理架构与模型优化部署研究

目录

一、文档概览．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.3研究目标与创新点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.4本文结构安排．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

二、边缘侧推理架构设计与关键技术．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.1通用架构模型描述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.2核心硬件加速技术研究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

2.3数据管理与隐私保护机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

三、轻量化模型构建方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.1模型压缩与知识蒸馏．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.2抽