基于强化学习的低轨卫星网络智能路由算法.pdfVIP

摘要

摘要

低轨卫星网络因其覆盖范围广、部署灵活、时延低等优点，在全球通信领域

得到广泛关注，但是其独特的网络环境也给路由算法的设计带来了新的挑战，包

括易遭受攻击、出故障、网络流量不均匀等问题。针对上述挑战，我们将采用深

度强化学习的方法来进行低轨卫星网络路由算法研究。本文的核心研究内容如下：

(1)针对低轨卫星网络因空间开放性所面临的攻击问题和因太空环境恶劣所面

临的故障问题，本文提出了基于结合优先经验回放和深度Q网络(Prioritized

ExperienceReplayDeepQNetwork,PER-DQN)的低轨卫星网络抗毁路由算法。传统

路由算法无法根据实时情况动态调整路由策略，导致低轨卫星网络在面临攻击和

故障时网络性能大幅下降的问题。因此，本文提出基于PER-DQN的低轨卫星抗毁

路由算法，该算法可以及时准确地感知相邻节点受攻击和出故障的状态，快速适

应攻击和故障场景，迅速调整路由策略，能有效避免受攻击的节点和故障节点，

从而降低网络的平均端到端延迟和丢包率，保证网络的可用性和抗毁性。仿真结

果表明，面对低轨卫星网络发生破坏性事件时，同基于Dijkstra的最短路径算法和

基于Q-Learning的低轨卫星网络抗毁路由算法相比，基于PER-DQN的低轨卫星

网络抗毁路由算法能有效降低网络的平均端到端延迟和丢包率，在保证网络的可

用性和抗毁性方面具有显著优势。

(2)针对低轨卫星网络存在流量分布不均匀容易导致网络拥塞的问题，本文提

出了一种基于结合优先经验回放和双深度Q网络(PrioritizedExperienceReplay

DoubleDeepQNetwork,PER-DoubleDQN)的低轨卫星网络拥塞控制路由算法。传

统的路由协议通常以跳数作为度量，根据路由算法选择具有最少跳数的固定单一

路径进行传输。这样的路由方式，容易使得大量的数据传输经过相同的最短路径，

加重网络拥堵程度，影响网络中的数据传输性能。因此，本文提出基于PER-Double

DQN的低轨卫星网络拥塞控制算法，该算法可以及时准确地感知相邻节点的负载

状态，快速适应负载变化，调整路由策略，能有效避免高负载节点，从而避免流

量过于集中、有效平衡网络负载和降低网络拥塞程度。仿真结果表明，与基于

Dijkstra的最短路径算法和基于PER-DQN的低轨卫星网络拥塞控制路由算法相比，

基于PER-DoubleDQN的低轨卫星网络拥塞控制路由算法在平衡网络负载、减缓

网络拥塞和降低平均端到端延迟方面具有显著优势。

关键词：低轨卫星网络，强化学习，拥塞控制路由，抗毁路由

I

ABSTRACT

ABSTRACT

TheLowEarthOrbitsatellitenetworkhasgarneredwidespreadattentioninthe

globalcommunicationsectorduetoitsextensivecoverage,flexibledeployment,and

lowlatencyadvantages.However,itsuniquenetworkenvironmentalsoposesnew

challengesforthedesignofroutingalgorithms,includingsusceptibilitytoattacks,

failures,andunevennetworktrafficdistribution.Inaddressingthesechallenges,wewill

employadeepreinforcementlearningapproachtoresearchroutingalgorithmsforLow

EarthOrbitsatellitenetwork.Thecoreresearchobjectivesofthisthesisareasfollows:

Firstly,addressingthechallen