基于深度强化学习的无人机辅助边云协同计算卸载方案研究.pdfVIP

摘要

随着移动通信技术的不断演进，实时性物联网(InternetofThings,IoT)应用的

IoT

实施获得了有力支撑。然而，这些应用的复杂性不断提升，使得设备在资源上

受到了严重限制。另外，现有的移动边缘计算架构主要依赖于基站，但由于基站网

IoT

络覆盖范围的局限，难以满足众多设备在时空分布不均情况下的通信和计算需

求。因此，UAV辅助的移动边缘计算作为一种补充方案，受到了业界的广泛关注。

通过在UAV上部署通信和计算资源，可以实现资源的高效覆盖和灵活配置。然而，

UAV与设备间的信道变化、任务动态性以及位置的不确定性，加之资源限制，使得

任务卸载、资源分配和位置调度变得更加复杂。为此，本文采用深度强化学习(Deep

ReinforcementLearning,DRL)方法，深入探讨移动边缘计算中的资源分配、任务卸载

策略和位置调度间的相互作用，以应对实际应用场景中的动态性和资源约束挑战。

本文的主要研究内容围绕上述问题进行展开。

IoT

首先，针对设备在特定区域内集中且持续产生复杂计算需求的场景，本文

IoT

充分考虑了设备在通信和计算方面的动态变化，以及其能量使用的限制。基于

这些考量，构建了一个由单个UAV辅助多个IoT设备进行边云协同计算的系统模型。

该模型的主要目标是实现IoT设备任务处理时延的最小化以及能耗的优化。为了深

入探究UAV计算资源的分配与IoT设备任务卸载之间的相互作用，并旨在减少任务

处理的时延和能耗，同时能够对联合策略进行综合评价，提出了一种可行的算法—

基于多智能体强化学习的边云协同深度确定性策略梯度(Multi-AgentDeep

DeterministicPolicyGradientEdgeCloudCollaboration，MADDPG-ECC)算法。仿真

实验表明，与传统的固定资源分配方案以及单智能体深度强化学习算法相比，本文

提出的MADDPG-ECC算法在降低时延和能耗成本方面表现出更为优越的性能。

IoT

其次，面对众多设备持续产生计算需求的场景，充分考虑了任务的时效性

和UAV的覆盖范围，以及计算资源的限制。基于这些考量，本文构建了一个多UAV

IoTIoT

辅助多设备边云协同计算的系统模型。该模型的核心目标是最大化设备的

IoT

任务处理成功率和提升其时效性。为了应对设备实时通信和计算需求的挑战，

以及UAV负载不均衡的问题，提出了一种基于多智能体强化学习的边云协同柔性

演员-评论家算法(Multi-agentSoftActor-CriticEdgeCloudCollaboration,

MASAC-ECC)，这一算法不仅优化了UAV的位置调度和任务卸载策略，还深入探

UAVIoT

索了与设备之间的卸载匹配关系。

本文的研究成果在移动边缘计算应用领域具有重要意义，能够有效应对计算资

源受限和时延敏感两大挑战。通过合理整合UAV与云服务器的计算资源，实现了

任务的动态卸载，进而提升了UAV的服务品质和运行效能。此外，本研究同样为

移动边缘计算和动态计算卸载的未来发展提供了有益的方向和可行的见解。通过构

建科学的资源分配和任务卸载策略，能够促进IoT设备、UAV与云服务器之间的紧

密合作，实现资源共享与优化，进而提升整个移动边缘计算网络的运行效能和效率。

关键词：移动边缘计算；深度强化学习；无人机；任务卸载；资源分配

Abstract

Withthecontinuousevolutionofmobilecommunicationtechnology,the

implementationofreal-timeInternetofThi