面向智能监控的端侧视觉Transformer轻量化量化剪枝与推理加速器设计.docxVIP

PAGE2

面向智能监控的端侧视觉Transformer轻量化量化剪枝与推理加速器设计

摘要

随着智能监控系统的普及，端侧设备对高分辨率视频的实时处理需求日益增长。传统卷积神经网络在全局特征提取上存在局限，而视觉Transformer虽性能优异，却因高计算复杂度与内存占用难以直接部署于资源受限的边缘节点。

本课题旨在设计一套面向端侧的ViT轻量化与推理加速方案。首先，研究混合精度量化与结构剪枝算法，降低模型参数量与计算开销。其次，提出基于数据复用的推理加速器架构，优化矩阵乘法的并行处理能力，实现高分辨率视频的实时推理。

论文遵循工程递进思路展开。绪论明确背景与痛点；相关技术章节论证选型依据；需求分析量化系统指标；总体设计与详细设计阐述软硬件架构与核心算法；实现与测试章节验证系统功能与性能。

核心创新点在于提出感知注意力权重的混合精度量化策略，以及针对ViT特征流的数据复用加速器架构，有效突破端侧算力瓶颈，为智能监控提供高效落地方案。

第一章绪论

1.1研究背景

近年来，安防监控设备在网络带宽、传感器分辨率等方面取得显著进步，高分辨率视频数据呈现爆发式增长。传统云端处理模式面临高延迟、带宽受限及隐私泄露等痛点，将AI推理能力下沉至边缘侧成为行业必然趋势。

在算法层面，视觉Transformer凭借自注意力机制打破了局部感受野限制，在图像分类、目标检测等任务中超越传统卷积网络