面向工业机器视觉的边缘GPU显存动态调度与模型Swap推理系统设计.docxVIP

PAGE2

面向工业机器视觉的边缘GPU显存动态调度与模型Swap推理系统设计

摘要

随着工业4.0与智能制造的快速发展，工业机器视觉技术在产品质量检测、自动化生产监控等领域的应用日益广泛。然而，在边缘计算场景下，硬件资源受限成为制约系统性能的关键瓶颈，特别是当多个深度学习模型需并发处理不同视觉任务时，有限的GPU显存往往导致模型加载冲突或内存溢出（OOM）。针对这一痛点，本课题设计并实现了一套面向工业机器视觉的边缘GPU显存动态调度与模型Swap推理系统。系统通过实时监控边缘GPU显存状态，设计了基于优先级的动态模型加载与Swap换入换出策略，实现了显存资源的高效复用，显著提高了多模型并发处理的吞吐量。

本文首先分析了工业视觉边缘计算场景下的显存管理需求，确立了系统总体架构；接着详细设计了显存监控模块、调度决策引擎与Swap执行器等核心组件；随后完成了系统编码实现与部署；最后通过功能测试与性能测试验证了系统的有效性。测试结果表明，在显存资源受限环境下，该系统能有效避免OOM错误，多模型并发吞吐量较传统静态加载方式提升了约35%。本设计不仅解决了边缘端显存不足的现实问题，也为边缘计算资源调度提供了新的技术思路。

第一章绪论

1.1研究背景

近年来，深度学习技术在工业机器视觉领域取得了突破性进展，广泛应用于表面缺陷检测、精密部件识别、工业读码等场景。这些应用通常依赖于卷积神