基于强化学习的水下无线传感器网络优化算法研究.pdf

基于强化学习的水下无线传感器网络优化算法研究

摘要

在水下无线传感器网络通信过程中，通信性能会受到诸多因素的影响，如：强噪声

干扰、复杂多变的信道环境以及传感器节点的能量有限等，这一系列问题都会导致水下

无线传感器网络的通信性能下降。水下无线传感器网络物理层的自适应问题与网络层的

路由决策问题都可以表述为马尔可夫决策过程，因此可以利用强化学习算法来解决上述

问题，设计相关网络优化算法来提高网络的通信性能。

首先，介绍了水下无线传感器网络的协议栈，常见的网络拓扑结构。介绍了水声通

信自适应调制技术以及传统基于阈值划分的自适应调制算法。阐述了强化学习相关理论，

从理论上初步印证了强化学习算法可以应用于水下无线传感器网络优化算法中。

其次，针对物理层的自适应调制算法进行算法优化。介绍了基于强化学习的自适应

调制系统，并分别介绍了基于Q-learning与SARSA的两种自适应调制算法方案，然后针

对已提出的三种自适应调制算法中低维状态值无法精准表征信道状态的问题，本文提出

一种基于DQN的自适应调制算法方案。接着利用实测的北极声速剖面数据仿真建立信道

集，通过改变收发位置来模拟二维、三维水下无线传感器网络通信，并基于此进行四种

自适应调制算法性能仿真验证，仿真结果表明，在模拟的二维、三维水下无线传感器网

络通信模式下，本文基于DQN的自适应调制算法相较于另外三种自适应算法至少有着

2.74%的性能提升。同时依据松花江通信实验数据验证了即使在小数量信道集的情况下，

1%

本文算法性能仍有至少的性能提升。

最后，针对网络层的深度路由算法进行算法优化。为进一步延长网络生命周期，本

文提出一种基于Q-learning的水下无线传感器网络节能深度路由算法QEEDBR，

QEEDBR算法综合考虑节点深度、节点剩余能量以及二跳节点数三方面信息，减少网络

热点、网络多路径传输、节点绕行、节点空洞等现象。通过仿真确定QEEDBR算法的最

优参数，后通过仿真实验分析算法性能。仿真实验表明，相对于DBR与EEDBR算法，本

文提出的QEEDBR算法在网络包投递率、网络端到端时延两方面有着不俗的表现。同时

QEEDBR20

算法可以有效地提升网络生命周期，当网络节点数为时，性能分别提升了

25.85%和12.98%，且随着节点数的增多，提升比例会进一步增大。

关键词：水下无线传感网络；强化学习；自适应调制算法；深度路由算法

基于强化学习的水下无线传感器网络优化算法研究

ABSTRACT

Inthecommunicationprocessofunderwaterwirelesssensornetworks,thecommunication

performancewillbeinterferedbymanyfactors,suchasstrongnoiseinterference,complexand

changeablechannelenvironment,andlimitedenergyofsensornodes.Alltheseproblemswill

leadtothedeclineofthecommunicationperformanceofunderwaterwirelesssensornetworks.

Inunderwaterwirelesssensornetworks,theadaptiveproblemofthephysicallayerandthe

routingdecisionproblemofthenetworklayercanbedescribedasMarkovdecisionprocesses,

Therefore,reinforcementlearningalgorithmcanbeusedtosolvetheaboveproblems,and

relevantnetworkop