MARL中Nash平衡与meta平衡比较研讨.pdfVIP

MARL中Nash平衡与meta平衡比较研究 姚怡星高阳王皓 南京大学计算机软件新技术国家重点实验室，南京210093 yaoyixing@ai．nju．edu．cn gaoy@nju．edu．cnwanghao@ai．niu．edu．cn 中的特性和作用，提出一种基于meta平衡理论的两agentMARL算法metaQ，并通过试验验证metaO算法 性能优于NashQ算法。 NashQ 关键词：metaQ meta平衡Nash平衡MARL 1．引言 多agent强化学习(MARL)是目前机器学习领域冬受关注的研究热点之一。对多agent环境中任何一 DecisionProcess， 个agent而言，由于其它学习agent的存在，环境不再满足马尔可夫决策过程(Markov MDP)的静态环境假设，因而以Q学习为代表的传统强化学习算法失去收敛性保证，无法简单的扩展到多 Game)作为MARL的研究框架，并提出用于双人 agent环境。Littman首先提出将Markov博弈(Markov 零合博弈的MaxminQ[2]算法，开创了基于博弈论的MARL研究的先河。随着相关研究的深入，基于博弈论 NashQ[3，4】。 Meta博弈是在基本博弈基础上扩展局中人策略构造的博弈，其基本思想是局中人在考虑其他局中人可 MARL中的作用，提出meta博弈可能比一般博弈更适合于描述MARL，并通过试验证明基于Meta平衡的 MetaQ算法【7】性能优于NasbQ算法。 2．背景 M．Littman率先把博弈论引入MARL研究领域，他提议把马尔可夫博弈(MarkovGame)作为MARL 研究框架【2】，马尔可夫博弈定义如下： 定义1马尔可夫博弈(Markov it状态J∈S下可选择的动作集合，?’表示 中力个agent的集合，s是环境有限状态集，40)是agent 特定状态下采取各种联合动作可能获得下个状态的概率分布，曩(岛国是第agentl在状态s∈S下采用联合 reward)。 动作西∈II．A，(s)获得的即时奖赏(immediate 中人f的策略集，以其Q值为其受付(payoff)的不断博弈过程，所有agent选择一次动作都是一次博弈。 game)豹MaxminQ算法f2】，虽然该方法适用范围狭窄， Littman还提出双agent零合博弈(zero．slim 义和博弈的NashQ算法[3，4】。简单来说，Nash平衡关注在局中人完全无协作前提下互相之间的最佳反应， 在Nash平衡点任何局中人在其他局中人的策略不变的前提下单方面改变策略都无法增加再自身收益。 证明在Nash平衡唯一的条件下，NashQ方法保证收敛【31。NashQ的通用性和收敛性使其成为基于博弈论 的MARL算法的代表。除NashQ外，其它基于博弈论的方法还有Friend·or-foeQ【6】、correlated·Q【7】等。 467 虽然NashQ方法被广泛接受，但其研究出发点却受到置疑，正如Shoham所指出的，NashQ收敛条件 苛刻：即使能够收敛，Nash平衡也只是所有可能不动点中的一个，选择它作为学习目标的动机不够充分。 3．Nash平衡和meta平衡对比 3．1Meta博弈与meta平衡 Meta博弈由NigelHoward提出，其基本思想是假设每个局中人都在考虑其他局中人的可能采取的策略 的条件下选择策略扩展基本博弈的策略集，由此构造超越基本博弈的模型。构造meta博弈的过程如下：在 基本博弈厂的基础上，若局中人f根据其它局中人选择策略做出策略选择，这样的博弈记为f厂：如果把 if作为基本博弈，还可以进一步扩展到／f厂，依次类推可得岛屯…砖厂，这样的博弈称为基本博弈厂 的meta博弈，举例来说