一种多机器人系统分层强化学习方法.docxVIP

一种多机器人系统分层强化学习方法 0 典型分层强化学习算法 由于机器人系统环境的动态变化和许多不确定因素，传统机器人感知建模规划的实施模式无法满足在真实物理环境中运行的要求。然而，bracks提出的基于行为的反应控制模式强调了具体和场景的概念。它在真实世界中表现出了强大的鲁棒性和实时性，但如果任务和环境的复杂性增加，行动设计任务就会变得困难和不可能。从20世纪90年代起流行的混合式结构在集成了原有两类控制模式优点的同时,也继承了它们的缺点,应付未知动态环境的能力没有得到本质改善,于是具有学习能力的机器人则成为近年来的研究热点。 学习的目的是通过不断优化的过程来改善机器人完成任务的性能。尽管机器学习方法众多,但是在机器人经常面对的无法或很难对环境进行建模的情况下,很多学习方法都无能为力,而强化学习(reinforcement learning, RL)则通过试错与环境交互来不断获得策略的改进,无需建立环境模型,其自学习和在线学习的特性使其成为机器人学习技术的一个重要方向。 然而,典型强化学习算法常采用状态-动作对来表示行为策略,因而不可避免地出现学习参数个数随状态变量维数成指数级增长的现象,即“维数灾难”。近年来,分层强化学习(hierarchical RL, HRL)在解决“维数灾”问题中取得了显著进展。HRL方法引入抽象机制实现状态空间降维,将强化学习任务分解到抽象内部和抽象间的不同层次上分别实现,从而每层上的学习任务仅需在低维空间中进行。根据实现细节的不同,形成了若干不同的方法:Sutton提出的Option、Parr提出的HAM(hierarchical abstract machine)和Dietterich提出的MAXQ以及沈晶最近提出的OMQ(option-MaxQ)等。这几种HRL方法均以半马氏决策过程(semi-Markov decision process, SMDP)为理论基础,即允许动作在多步时间内完成,于是决策点的时间间隔不再仅仅是单个时间步,而是一个变量(时间步的整数倍)。Option方法只在子目标点进行决策,其它时刻按照Option内部事先确定好的策略执行,HAM只对有限状态机中的非确定点进行动作决策,MAXQ方法将任务按照一定的层次进行组织并只在调用子任务时才进行决策,OMQ方法是Option和MAXQ两种方法的有机结合,既具备MAXQ利用先验知识进行任务分层和良好的在线学习能力,又具备Option自动划分子任务尤其是分区(分段)子任务的能力,并能以较快速度收敛到递归最优解。 原有HRL的研究工作多集中在单体学习中,随着多机器人系统研究和应用的逐渐深入,多机器人分层强化学习的研究已成为迫切需求。Makar等和Ghavamzadeh等采用了类似于MAXQ的任务图使多智能体对协调技能和基层策略分层进行学习,Ghavamzadeh等和沈晶等在后续工作中,通过增加通信和协调层等方法进一步改进了协调性能,但是他们的方法是完全依赖于通信的,而在通信困难和通信不可靠的应用场合(如水下多机器人),该方法则不再有效。本文在前人多智能体分层强化学习研究成果的基础上,考虑多机器人系统面临的通信困难问题,提出一种基于半马尔可夫对策的多机器人分层强化学习方法,通过引入对策论方法解决通信困难情况下多机器人学习问题。 1 子任务执行策略 本文的工作以文献的工作为基础。文献提出了OMQ分层强化学习方法,并将其推广到多智能体领域,称之为MOMQ(multi-OMQ)。本文不是在MOMQ的基础上直接改进,而是从OMQ开始直接引进对策论思想,构建基于半马尔可夫对策的多智能体分层强化学习方法(简称MGQ)。为便于表述及理解,下面先扼要介绍OMQ方法。 OMQ方法中用OMQ任务图(简称OTG)来表达任务的层次结构。OTG定义为3元组OTG=(VMAXQ,VOption,ECall),其中,VMAXQ和VOption为节点集,分别代表两类结构完全相同但是生成方法不同的子任务:VMAXQ为按照MAXQ方法手工划分的子任务;VOption为学习过程中自动生成的Option类子任务;ECall为边集,用以表示子任务间的调用关系。OTG为具有层次结构的图,顶层具有惟一的根节点,代表整个学习任务,同层节点(子任务)间不具有调用关系。初始OMQ任务图与MAXQ任务图相同,不包含Option类子任务。Option是在学习过程中针对规模较大的子任务自动构造出来并作为子任务插入到任务图中的,从而,任务图在扩充过程中被进一步细化。 OMQ子任务Mi用一个5元组表示(Si,πi,Ti,Ai,?RR?i),其中,Si为Mi的启动状态集,只有当状态s∈Si时,Mi方可执行;πi为Mi的策略,当状态s∈Si时,πi执行,策略πi确定每个状态下执行的基本动作或者子任务