基于多智能体强化学习的多无人机覆盖控制.pdfVIP

摘要

摘要

多智能体系统是描述复杂问题的一种重要方法，研究多智能体系统具有非常

重大的理论和实际意义。本文重点研究多智能体系统中的覆盖控制问题，覆盖控

制指的是通过优化各个智能体在状态空间的位置，从而使得智能体能够完成对于

一个给定区域的最优覆盖。考虑覆盖控制问题是一个多约束，非线性的复杂求解

问题，本文基于多智能强化学习理论设计出了覆盖控制算法，采用集中式训练，分

布式执行的架构，实现了对无人机轨迹的在线规划。

针对覆盖控制需要最大化对目标区域的覆盖比例，考虑无人机飞行的能量损

耗，通信连通性，以及无人机之间的碰撞等问题，本文设计出了同构多智能体和异

构多智能体算法解决覆盖控制问题。在设计同构多智能体覆盖控制算法时，利用

同构情况下无人机群在全局状态空间表示的置换不变特性，本文基于图网络结构

设计了中心值函数，通过对比试验验证了算法的优越性。在解决异构多无人机对

目标区域的覆盖控制问题时，本文关注无人机的覆盖范围存在差距以及最大速度

不同的异构情况。对于异构情况下，中心智能体观测到的邻居智能体特征存在差

别，本文通过注意力网络和异构组别参数编码机制使得中心智能体可以针对不同

的邻居学习到不同的策略。另外为解决异构情况下奖励函数的信誉分配问题，本

文提出了一种奖励重构技术使得算法的效果得到了提升。最后为使得算法能在四

旋翼无人机模型上实现稳定部署，本文提出了一种轨迹跟踪控制算法使得四旋翼

的姿态能够稳定跟踪给定的目标值。

对于所提算法，本文分别在GAZEBO仿真和实物情况下对算法的有效性进行

了验证。通过对比几种常用的多智能体强化学习算法和本文所提出算法在覆盖控

制场景下的表现情况，突出了本文所提算法的优越性。使用CRAZYFLIE四旋翼

和VICON动捕系统进行了实物验证，最后通过分析数据得出结论，本文所提出的

算法能完成多无人机覆盖控制的目标。

关键词：覆盖控制，多智能体强化学习，异构多无人机，轨迹跟踪

-I-

Abstract

Abstract

Multi-agentsystemisanimportantmethodtodescribecomplexproblems,andthe

studyofmulti-agentsystemhasveryimportanttheoreticalandpracticalsignificance.This

paperfocusesonthecoveragecontrolprobleminthemulti-agentsystem.Coveragecon-

trolreferstooptimizingthepositionofeachagentinthestatespace,sothattheagentcan

completetheoptimalcoverageforagivenarea.Consideringthatthecoveragecontrol

problemisamulti-constraint,non-linearcomplexsolutionproblem,thispaperdesignsa

coveragecontrolalgorithmbasedonthetheoryofmulti-intelligencereinforcementlearn-

ing,adoptsthearchitectureofcentralizedtraininganddistributedexecution,andrealizes

theonlinetrackingofUAVtrajectory.planning.

Aimingattheneedforcoveragecontroltomaximizethecoverageratioofthetarget

area,consideringtheener