基于强化学习的移动边缘网络频谱与计算资源联合分配算法研究.pdfVIP

摘要

近年来，移动网络中的数据流量增长迅猛，用户业务需求也日渐多样化，而移动终

端设备的计算能力有限，将用户业务卸载至云计算中心又会带来较大的传输时延，增加

网络传输压力和计算成本。为了提升移动网络的服务性能，满足用户多样化业务的服务

需求，移动边缘计算（MobileEdgeComputing，MEC）将云计算中心的计算、存储、网

络控制等功能下沉到网络边缘侧，支持就近为终端用户提供计算服务，能够克服终端设

备计算能力有限以及移动云计算传输时延高等缺陷。然而，相对于云计算中心，边缘服

务节点资源有限，边缘网络环境复杂多变。如何合理、高效地为动态到达的用户业务分

配MEC网络的资源成为移动边缘计算研究中关注的一个关键技术问题。本论文针对这

一问题探索和研究了强化学习方法在MEC网络频谱资源和计算资源联合分配中的应

用，力图通过强化学习方法实现更加高效、灵活的资源分配，提升网络性能，满足用户

业务多样化的服务需求。本论文的主要工作包括以下三部分：

（1）针对单边缘服务节点单一业务系统场景下的频谱资源和计算资源联合分配问

题，研究并提出了一种基于Q学习（Q-learning）的单一业务频谱资源和计算资源联合

分配（QlearningbasedJointSpectrumandComputingResourceAllocationAlgorithmfora

Single-ServiceMECSystem，Q-SRA）算法。该算法考虑了MEC系统中动态到达的用

户业务之间资源分配的耦合关系以及用户业务的频谱资源分配和计算资源分配之间的

耦合关系，通过在线为用户业务联合分配频谱资源和计算资源，提升系统吞吐量，使尽

可能多的用户业务在服务时延上限内得到边缘服务节点提供的计算服务。该算法基于强

化学习中的Q-learning算法模型实现，首先创建一个Q表格并对其初始化，然后进行

Q-learning的迭代学习：智能体观察系统环境状态，根据一定的策略选择动作，然后执

行该动作并计算得到环境反馈的奖励，再对Q表格更新。不断迭代学习直至Q表格收

敛，最后得到最优的频谱和计算资源联合分配策略。仿真实验结果表明，Q-SRA算法

能够有效提升系统吞吐量，在系统吞吐量方面，性能优于三种基准资源分配算法。

（2）针对单边缘服务节点多业务系统场景下的频谱资源和计算资源联合分配问题，

在研究Q-SRA算法的基础上，研究并提出了一种基于深度Q网络（DQN）的多业务

频谱资源和计算资源联合分配（DeepQNetworkbasedJointSpectrumandComputing

ResourceAllocationAlgorithmforaMulti-ServiceMECSystem，DQN-RA）算法。该算

法联合考虑了MEC系统中动态到达的用户业务的频谱资源分配和计算资源分配，通过

在线为具有不同服务时延上限要求的用户业务联合分配频谱资源和计算资源，提升系

统吞吐量，使尽可能多的用户业务在服务时延上限内得到边缘服务节点提供的计算服

务。该算法包括资源预分配模块和资源分配模块，其中资源预分配模块基于深度强化

学习中的DQN算法模型实现，DQN在Q-learning的基础上采用了深度神经网络的非

线性函数近似技巧，有效解决了Q-learning中状态间维数爆炸等问题。算法首先建立

DQN模型，然后利用智能体与环境交互得到的经验数据对DQN模型进行训练。资源

分配模块则根据资源预分配模块的输出结果和用户实际的业务服务需求为用户业务分

配频谱和计算资源，并将资源分配结果反馈给DQN模型中的智能体，使智能体能够更

好地为后续到达的用户业务进行资源分配的决策。仿真实验结果表明，DQN-RA算法

具有较好的收敛性，能够有效提升系统吞吐量，在系统吞吐量和用户业务总服务时延

方面，整体性能优于三种基准资源分配算法。

（3）针对多边缘服务节点协作系统场景下的联合计算卸载和资源分配问题，在研

究Q-SRA算法和DQN-RA算法的基础上，提出了一种基于对决深度Q网络（Dueling

DQN）的联合计算卸载和资源分配（DuelingDQNbasedJointComputingOffloadingand

Re