连续时间统一maxq算法及其应用分析-continuous time unified maxq algorithm and its application analysis.docxVIP

连续时间统一 MAXQ 算法及其应用研究摘要具有抽象机制的分层强化学习方法可以实现状态空间的降维，从而解决大规模系 统中的“维数灾”问题。由于引入了状态抽象机制，分层强化学习可以加快策略学习 的速率并且节约学习过程中状态－行动对的存储空间。典型的分层强化学习有 Option 算法、HAM 算法以及 MAXQ 算法。然而传统的分层强化学习算法大都是建立在离散 时间半 Markov 模型或者离散时间多 Agent 半 Markov 模型的框架下的，无法解 决连续时间情况下单 Agent、多 Agent 的学习系统问题，并且算法只能单独适 用于平均准则或者是折扣准则。本文在性能势理论框架下，结合现有的 MAXQ 算法思想和连续时间 SMDP 模型，提出一种同时适用于平均和折扣性能准则的连续时间统一 MAXQ 算法。 由于 Web 服务组合问题可以建模成半 Markov 决策过程模型，因此本文将提出的 算法应用于 Web 服务组合问题中，以验证算法具有实际意义。另外，通过旅游预订 系统作为仿真实例，说明该算法与 Q 学习相比，具有优化精度高、优化速度快 和节约存储空间的优势。但是，由于单 Agent 的能力有限，越来越多的复杂问题需要通过多 Agent 的相互 协作来解决。因此本文结合性能势理论和之前构造的连续时间统一 MAXQ 算法 思想，又提出了一种同时适用于平均和折扣性能准则的多 Agent 连续时间统一 MAXQ 算法，并将该算法应用于解决多 Agent 连续时间 Web 服务组合问题中。 最后通过旅游预订系统作为仿真实例，说明该算法比 single-Agent MAXQ 和selfish multi-Agent MAXQ 算法都具有更好的优化效果，同时也加快了学习速率 且节约了存储空间。关键词：半 Markov 决策过程(SMDP)；多 Agent 半 Markov 决策过程(MSMDP)； 性能势；MAXQ 算法；Web 服务组合Continuous-Time Unified MAXQ Algorithm and Its ApplicationABSTRACTThe hierarchal reinforcement learning with abstraction mechanism can reduce the dimension of state space, so as to solve the problem of “curse of dimensionality” existing in the large-scale systems. Due to the abstraction mechanism, the hierarchal reinforcement learning can accelerate the policy learning speed and save the memory of state-action pairs. There are three typical hierarchical reinforcement learning algorithms: Option, HAM and MAXQ. However, traditional hierarchical reinforcement learning algorithms are mostly based on the framework of discrete-time SMDP model or discrete-time multi-agent SMDP model, which can not solve the continuous-time single agent, multi-agent learning system problems, and can only apply to the average criteria or discounted criteria.In this dissertation, under the framework of the concept of performance potential, combined with the existed MAXQ algorithm and continuous-time SMDP model, we introduce a continuous-time unified MAXQ algorithm under either average- or discounted-cost criteria. Because the web service composition problem can be modeled as