山地环境下基于深度强化学习的多智能体协同搜索节能算法研究.pdfVIP

摘要

摘要

近年来随着智能体需要解决的问题越来越复杂，学者们从研究单智能体系统

逐渐转为研究多智能体系统。多智能体系统常常被用于搜索遍历，无人监控等场

景。使用多智能体系统去搜索一个感兴趣区域已经有很多成熟的算法，但这些算

法基本都是针对平坦地形设计的，而实际应用中被搜索遍历的环境往往是不平坦

的山地地形等。在针对平坦地形设计的搜索算法中，智能体通常是采用最短路径

的方式在导航目标之间移动，在平坦地形下这样的运动即省时又节能，但在不平

坦地形上这样的运动往往会导致过度的能量消耗。然而，现有的智能体基本都是

采用便携式能源提供电力，因此应该尽量减少智能体的能量消耗，避免还没遍历

完感兴趣区域智能体就出现能源不足的情况。为了解决上述不足，本文提出了两

种针对山地环境的多智能体搜索节能算法。本文的主要工作和创新如下：

1.将深度强化学习引入到了多智能体系统中。通过设计合理的深度强化学习

奖惩函数，提前规划出每个智能体下一个要遍历的最优目标位置，尽量避免发生

重复覆盖的问题，提升了覆盖效率，降低了系统的总能耗。

2.针对多智能体系统去搜索山地环境设计了两种神经网络模型，这两种模型

使得智能体能够实时的选择下一个要遍历的最优位置。对于其他的复杂环境，也

可以参考这两个网络模型，去构造出更适合的网络模型。

3.结合山地地形的梯度特征，引入了地形适应力，地形适应力可以引导智能

体尽量走最优能耗路径。将地形适应力加入到运动学模型中，设计出了基于地形

适应力的节能覆盖算法。

4.将智能体能耗模型加入到深度强化学习的奖惩函数中，以全局总能耗最低

为目标去选择下一个要遍历的目标点，进而设计出了基于奖惩函数改进的节能算

法。

仿真结果表明，本文提出的两种算法在不平坦的山地环境下相比于传统的搜

索遍历算法有更好的节能性。并且本文提出的两种算法在系统中某些智能体出现

故障断开连接时，不会影响其他智能体继续工作，有很好的鲁棒性。

关键：多智能体，山地地形，节能，地形适应力，深度强化学习

I

ABSTRACT

ABSTRACT

Inrecentyears,astheproblemstobesolvedbyagentsbecomemoreandmorecom-

plex,scholarshavegraduallychangedfromsingleagentsystemtomulti-agentsystem.

Multi-agentsystemsareoftenusedinsearchtraversal,unmannedmonitoringandother

scenarios.Therearemanymaturealgorithmsusingmulti-agentsystemtosearchanarea

ofinterest,butthesealgorithmsarebasicallydesignedforflatterrain,andtheenviron-

mentsearchedandtraversedinpracticalapplicationisoftenunevenmountainousterrain.

Inthesearchalgorithmdesignedforflatterrain,theagentusuallyusestheshortestpath

tomovebetweennavigationtargets.Inflatterrain,suchmotionsavestimeandenergy,

butinuneventerrain,suchmotionoftenleadstoexcessiveenergyconsumption.How-

ever,theexistingagentsbasicallyuseportableenergytoprovidepower,sotheenergy

consumptionof