基于强化学习的水声传感器网络路由算法研究.pdf

摘要

摘要

基于强化学习的水声传感器网络路由算法研究

海洋对人类的生存极为重要，学者们越来越关注海洋领域的相关研究。在对

海洋领域研究的过程中，水声传感器网络逐渐发展起来，在众多海洋领域中发挥

着重要作用，包括资源探测、污染和水质监测、军事侦察、潜水消费等应用场景。

路由协议在水声传感器网络的数据传输中起着至关重要的作用，确保了网络

中数据信息从源节点到目的节点的正确传输，而其设计面临众多挑战。首先，影

响网络性能的因素众多，包括节点的能量消耗、数据的传输延迟、节点的移动、

距离、密度、能量分布等，大部分现有的水下路由协议在设计时考虑影响网络性

能的因素较少。其次，大多数水下路由协议仅在个别应用场景下达到较好的效果，

不能满足不同水下应用对不同网络性能的要求。面对水下应用的多样性，有必要

设计可以满足各种网络性能需求的自适应路由协议，从而实现应用与网络环境的

自适应。

为全面的考虑影响网络性能的因素，提高网络的服务质量，本文提出了一种

基于Q-learning的静态水下自适应路由协议（AnAdaptiveRoutingProtocolfor

StaticUnderwaterSensorNetworksBasedonQ-learning,QLAR）。首先，针对水声

传感器网络高能耗、高时延、高误码等特点，设计了基于Q-learning的路由协议

模型，从环境中获取信息并根据信息做出路由决策。所获取的信息包括节点的剩

余能量、节点周围的能量分布、节点间距离、节点周围的密度四个因素。其中，

通过降低能量消耗和使能量分布更均匀来延长网络的生存期；通过考虑节点间距

离尽可能降低传输延迟；通过考虑节点周围密度尽可能提高网络的传输成功率。

其次，针对信道质量差导致的丢包问题，采用了隐式确认的方式，提高网络可靠

性。在基于NS-3的Aqua-Sim-TG平台上对所提出的协议进行了广泛的模拟，结

果表明QLAR协议在传输成功率、能量效率和网络生存周期方面展现了比VBF

协议和DBR协议更好的效果，在传输延迟方面优于QELAR协议。

然而，随着水下移动集群组网的广泛应用，静态网络下的路由协议无法满足

移动集群组网的通信要求。移动集群中节点间的间歇性连接问题会影响路由决

策，此外，不同网络应用对网络性能要求也不同。因此，本文提出了一种面向多

种应用的水下移动集群自适应路由协议（Anadaptiveroutingprotocolformultiple

I

摘要

applicationsforunderwatermobileclusteringnetwork,QLMAR）。首先，针对节点

间间歇性连接问题，通过考虑节点间链路连接时间，构建了路由协议系统模型，

并对链路连接时间预测算法进行了推导。其次，针对信道质量差导致的丢包问题，

采用了显式确认方式提高网络可靠性，并设计了重传等待时间。最后，考虑到不

同应用对网络性能要求的不同，采用了层次分析方法（AHP）协助路由算法，通

过衡量影响因素的权重，达到应用与网络性能的自适应要求。所提出的协议

QLMAR通过与经典的水下路由协议VBF协议、DBR协议进行实验对比，结果

表明它在传输成功率、能量效率和网络寿命方面表现良好，所提出的协议可以应

用于各种不同的具有移动特性的水下网络应用。

关键词：

水下传感器网络、路由协议、Q-learning、水下应用

II

Abstract

Abstract

ResearchonRoutingProtocolforUnderwaterSensor

NetworksBasedonReinforcementLearning

Theoceanisvery