深度神经网络模型压缩、推理加速及边缘计算设备部署关键技术综述.docxVIP

深度神经网络模型压缩、推理加速及边缘计算设备部署关键技术综述

摘要

当前人工智能应用正逐步由云端向终端迁移，对模型体积、推理速度及功耗提出严格要求。本文综述了深度神经网络模型在压缩、推理加速及边缘计算部署中的关键技术研究进展，涵盖剪枝、量化、知识蒸馏等压缩方法，基于近似计算的加速策略，异构硬件部署优化技术，以及模型压缩工具链进展。通过分析典型技术路径和前沿研究成果，揭示当前技术瓶颈与未来发展趋势，为面向边缘计算的轻量化深度学习系统设计提供理论参考和实践指导。

1.引言

深度神经网络（DNN）在图像识别、自然语言处理等领域表现卓越，但模型规模呈指数级增长（如GPT-3模型达1750亿参数）。部署难点包括：

端侧存储空间受限（边缘设备容量通常16GB）

推理延迟要求严格（法定自动驾驶场景需100ms）

能耗预算严峻（移动终端典型功耗5W/m）

传统解决方案依赖云端服务但存在时延、带宽和安全风险。多模态压缩与边缘计算协同成为必然趋势。

2.模型压缩技术前沿

2.1权重压缩方法

(a)权重剪枝

按重要性阈值筛选零头权重（L1/L2范数筛选）。研究表明，在ResNet-50模型中，50%权重剪枝可在保持98%精度的同时降低37%模型尺寸（Shrakeetal,2019）。

(b)结构稀疏化

引入稀疏卷积算子，将标准卷积拆分为多个稀疏低秩卷积核。剪枝诱导训练算法通过