基于多智能体强化学习的边缘合作缓存策略研究.pdfVIP

摘要

5G的普及极大提高了移动通信的质量，它以极低的时延、超大的带宽、超高

的速率和更多的连接极大提高了用户的体验并影响了众多行业。按照传统的方式

数据最终都从云中心获取，而移动数据中很大一部分可以进行重复使用，将这部

分数据提前缓存在更靠近用户的一侧可以有效减轻云中心的负担提供更优质的

服务。边缘节点的合作是一种有效提高边缘性能的方式，但是当前的研究大都假

设边缘节点是完全合作的状态，缺少有效的合作感知，难以应用在大规模边缘集

群中。因此，本文建立在将边缘系统建模成多智能体系统的基础上，研究了多基

站部署下的合作缓存策略，并使用多智能体强化学习去对缓存放置进行决策。本

文的主要研究内容如下：

（1）针对内容多样性和传输多样性的平衡问题，提出了一种基于多智能体

强化学习的临近感知边缘合作缓存策略。策略对基站合作中内容多样性和传输多

样性之间的平衡问题进行了充分考虑，在此基础上提出了临近感知多智能体合作

缓存策略（Neighbouring-AwareMulti-AgentCooperativeCaching,NAMACC）。

在决策阶段，策略优先考虑满足本地大多数用户的请求，保障本地用户的服务质

量，同时感知协助临近基站所能带来的边缘系统收益，并缓存部分通过合作能够

带来较高边缘系统性能提升的内容。在更新阶段使用临近感知置信上限

（Neighboring-AwareUpperConfidenceBound,NAUCB）优化策略，NAUCB考虑

了缓存放置给临近基站和本地基站带来的收益。通过实验，说明提出的合作缓存

策略在时延上较对比的策略降低了至少10%。

（2）针对边缘合作缓存中的弹性资源问题，在基站的合作中联合优化请求

时延和租赁开销，提出了基于门控循环单元（GatedRecurrentUnit,GRU）和反事

实基线多智能体（CounterfactualMulti-Agent,COMA）策略梯度的多智能体强化

学习弹性边缘合作缓存框架（ElasticCooperativeEdgeCaching,ECEC）。ECEC

首先使用GRU来预测下一时刻的用户请求速率，解决缓存决策和用户请求模式

感知的不同步性，接着使用COMA进行下一个时刻缓存放置决策。在决策过程中，

为了减少输入和输出空间的大小，减少不必要的噪声信息输入，提出了分支

COMA的技巧。最后的实验表明ECEC能够根据用户请求速率的变化租赁符合需

求的资源，并且通过合作有效减少了请求时延和系统开销。

关键词：边缘缓存，合作缓存，缓存放置，多智能体系统，多智能体强化学习

ABSTRACT

Thepopularizationofthe5Ghasgreatlyimprovedthequalityofmobile

communication.Ithasgreatlyimprovedtheuserexperienceandaffectedmany

industrieswithextremelylowlatency,largebandwidth,ultra-highspeedandmore

connections.Accordingtothetraditionalway,dataisultimatelyobtainedfromthe

cloudcenter.Alargepartofmobiledatacanbereused,cachingthispartofdatain

advanceonthesideclosertotheusercaneffectivelyreducetheburdenofthecloud

centerandprovidebetterservices.Thecooperationofedgenodesisaneffectiveway

toimprovetheedgeperformance,butcurrentresearchmostlyassumesthatedg