基于强化学习的异构多智能体区域覆盖算法研究-控制科学与工程专业论文.docxVIP

西南交通大学硕士学位论文主要工作(贡献)声明本人在学位论文中所做的主要工作或贡献如下： 西南交通大学硕士学位论文主要工作(贡献)声明 本人在学位论文中所做的主要工作或贡献如下： (1)根据无人驾驶地面移动车辆(UGV)和无人飞行器(UAV)的运动学模型特性， 实现了传感器异构、驱动模式异构的地．空多智能体系统，针对UGV车辆的运动学模型 和传感器特性设计了两类抽象的环境扫描模型，在确保观测精度和有效性的同时降低了 观测信息的维度。 (2)针对区域覆盖问题，基于POMDP模型搭建了单智能体环境覆盖模型，实现了 QMDP算法和Q—learning算法，并比较了不同的传感器观测精度、观测不确定性对强化学 习收敛效果的影响。 (3)针对区域覆盖问题，基于DEC—POMDPs搭建了地．空异构的多智能体区域覆盖模 型，在此基础上验证了在线规划算法的有效性。并分析了地．空多智能体系统的通讯动作 特点，搭建了通讯仿真模型，优化了多智能体强化学习的决策框架。 (4)设计了一套基于MATLAB软件的多智能体强化学习仿真工具箱。搭建了健全系 统的强化学习仿真运算框架，实现了智能体运动学模型设计、地图环境仿真、强化学习 算法等模块，设计实现了持久层模块，借助数据库技术改善了MATLAB软件处理超大 矩阵数据的能力，为算法验证和实验验证提供仿真支撑。为优化仿真实验效率，实现了 几何地图与栅格地图相结合的多义地图框架。通过预定义接口、面对对象编程方法优化 了各模块间的交互耦合方式，方便使用、改进或针对该工具箱进行二次开发。 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所得的成果。 除文中已经注明引用的内容外，本论文不包含任何其他个人或集体己经发表或撰写过的 研究成果。对本文的研究做出贡献的个人和集体，均已在文中作了明确说明。本人完全 了解违反上述声明所引起的一切法律责任将由本人承担。 学位论文作者签名：王咣东 日期： zo，6．银z了 万方数据 西南交通大学硕士研究生学位论文 西南交通大学硕士研究生学位论文 第1页 摘要 面向地．空多智能体系统的区域覆盖问题，建立了基于分布式部分可观测马尔可夫决 策模型(DEC．POMDPs)描述观测异构、驱动模式异构的多智能体系统，通过强化学习 算法解决多智能体系统的路径规划及避障问题，主要包括以下几个方面的研究内容： 首先介绍了由马尔可夫决策模型(MDP)向DEC．POMDPs模型的演变过程。由于 智能体模型观测的局部特性和不确定性，各智能体获得的观测不再具备马尔可夫性，导 致DEC—POMDPs模型求解最优结果时策略空间维度爆炸——即NEXP完全问题。 其次，针对单智能体搭建了基于POMDP模型的区域覆盖仿真场景，利用Q加P算 法和Q．1earning算法求解行动策略。通过调整模型参数，分析了观测不确定性和观测精 度对POMDP强化学习收敛效果的影响。 再次，实现了基于DEC．POMDPs模型的多智能体在线规划算法，并搭建了多个多 智能体仿真场景，验证算法的有效性。考虑到通讯动作的低耗时和高时效性，根据通讯 动作判断智能体是否获得联合观测，设计一种包含多个强化学习模块的异构多智能体强 化学习决策框架，在不影响分布式强化学习收敛速度的前提下，有效降低了通讯频率， 提高了多智能体系统在隐性马尔科夫决策过程中的状态辨识度和决策效率。 为了方便理论验证和理论分析，开发了基于MATLAB软件的多智能体强化学习工 具箱，搭建了完善的强化学习仿真运算框架，实现了智能体运动学模型、地图环境仿真、 强化学习算法等模块，设计实现了持久层模块，借助数据库技术改善了MATLAB软件 处理超大矩阵数据的能力，为实验验证提供运算能力支撑。通过预定义接口、面对对象 编程方法优化了各模块间的耦合方式，便于使用、改进或针对该工具箱进行二次开发。 关键词：多智能体系统、异构系统、分布式部分可观测马尔可夫决策、MATLAB工具箱 万方数据 西南交通大学硕士研究生学位论文 西南交通大学硕士研究生学位论文 第1I页 Abstract Focused Oil area coverage problem in air-ground multi—agent systems，a decentralized partially observable Markov decision processes(DEC—POMDPs)is established to describe a heterogeneous multi—agent system，and reinforcement learning algorithms are applied to solve decision making problems in multi-agent sys