基于多智能体强化学习的边缘计算任务卸载优化.pdfVIP

摘要

摘要

随着5G/6G通信和物联网（InternetofThings，IoT）等信息技术的飞速发

展，涌现出大量新兴的智能应用，为人们的生活带来极大的便利。这些智能应

用通常会产生大量的数据，并且对时延有着较高的需求，而传统的云计算需要

将数据传输到云端处理，存在着带宽资源有限、数据传输时延大等问题，因此

MobileEdge

无法很好地满足应用需求。基于此，研究人员提出了移动边缘计算（

Computing，MEC），它通过将计算资源下放至靠近数据源的边缘节点，可以

有效降低任务的处理时延。本文考虑了一种协作MEC系统，其中基站与基站

之间、基站与云之间通过光纤连接在一起，协作共享计算资源。基于该系统，

本文建立了一个任务卸载与资源分配的联合优化问题，目标是最小化所有移动

设备的系统总开销。然而，MEC环境的不确定性、设备之间的耦合性导致这是

一个复杂的混合整数非线性规划（MixedIntegerNonlinearProgramming，MINLP）

问题，难以在合理的时间内找到最优解。因此，本文引入了深度强化学习（Deep

ReinforcementLearning，DRL），并提出了两种基于深度强化学习的分层算法

以实现协作MEC系统的任务卸载与资源分配联合优化。主要内容如下：

1、针对集中式执行的场景，提出了一种基于单智能体强化学习的集中式

任务卸载与资源分配联合优化算法，该算法将联合优化问题拆分为任务卸载与

资源分配两个子问题，采用分层的方式进行求解。针对任务卸载子问题，使用

了单智能体强化学习对任务卸载决策进行集中式训练。针对资源分配子问题，

设计了一种可以求得近似最优解的方法，该方法将资源分配子问题进一步解耦

为多个子问题，利用凸优化逐一求解本地计算资源、无线传输资源和基站计算

资源分配决策。仿真结果表明，基于单智能体强化学习的集中式任务卸载与资

源分配联合优化算法相较于现有方案可降低系统开销10.32%。

2、针对分布式执行的场景，提出了一种基于多智能体强化学习的分布式

任务卸载与资源分配联合优化算法，该算法同样采用了分层的方式求解联合优

化问题，首先使用多智能体强化学习分布式优化任务卸载决策，然后利用凸优

化获得最优的资源分配决策。仿真结果表明，基于多智能体强化学习的分布式

任务卸载与资源分配联合优化算法相较于现有方案可降低系统开销19.22%。

关键词：移动边缘计算；多智能体强化学习；任务卸载；资源分配

-I-

Abstract

Abstract

Withtherapiddevelopmentofinformationtechnologiessuchas5G/6G

communicationsandtheInternetofThings(IoT),asignificantnumberofsmart

applicationshaveemerged,greatlyenhancingtheconvenienceofpeopleslives.

Theseintelligentapplicationsusuallygeneratealargeamountofdataandhavehigh

requirementsonlatency.However,traditionalcloudcomputingneedstotransmit

datatothecloudforprocessing.Thereareproblemssuchaslimitedbandwidth

resourcesandla