基于异构计算的边缘AI推理系统设计与任务调度优化.docxVIP

PAGE2

基于异构计算的边缘AI推理系统设计与任务调度优化

摘要

随着物联网终端数量的激增和人工智能应用的普及，传统云计算模式在实时性、带宽和隐私保护方面面临严峻挑战。边缘计算将计算资源下沉至网络边缘，成为解决这些问题的关键范式。然而，边缘设备普遍存在计算资源异构且有限的问题，如何高效协同CPU、GPU、NPU等异构计算单元进行AI推理任务，是提升边缘智能系统效能的核心。

本设计旨在构建一个面向边缘环境的异构AI推理系统，并重点优化其任务调度策略。首先，论文分析了边缘AI推理在实时响应、资源利用和能耗控制等方面的具体需求。其次，设计了包含任务管理、资源监控、调度决策与异构后端执行在内的系统总体架构。核心创新在于提出了一种动态自适应的任务调度算法，该算法综合考虑任务特性、硬件状态和系统目标，实现负载在CPU、GPU、NPU间的智能分配。

论文遵循“需求分析→总体设计→详细设计→实现→测试”的工程递进思路展开。需求分析明确了系统的功能与非功能指标；总体设计规划了系统分层架构与模块职责；详细设计细化了调度算法与模块接口；系统实现基于Python与相关框架完成了原型开发；最后通过功能与性能测试验证了系统的有效性与优化效果。测试表明，相较于静态或轮询调度策略，本设计所采用的动态调度策略在任务平均响应时间和系统吞吐量上均有显著提升。

本设计的实践意义在于为资源受限的边缘场景提供了一种高