部分可观察马尔可夫决策过程研究进展.pdfVIP

第28 卷 第9 期 计算机工程与设计 2007 年5 月 Vol . 2 8 N o . 9 Computer Engineering and Design May 2007 部分可观察马尔可夫决策过程研究进展 1 2 仵 博 ， 吴 敏 (1. 深圳职业技术学院计算机应用工程系，广东深圳518055 ； 2. 中南大学信息科学与工程学院，湖南长沙4 10083) 摘 要：部分可观察马尔可夫决策过程是通过引入信念状态空间将非马尔可夫链问题转化为马尔可夫链问题来求解，其描 述真实世界的特性使它成为研究随机决策过程的重要分支。介绍了部分可观察马尔可夫决策过程的基本原理和决策过程， 然后介绍了3 种典型的算法，它们分别是Littman 等人的Witness 算法、Incremental Pruning 算法和Pineau 等人的基于点的值迭 代算法，对这3 种算法进行了分析比较。讲述部分可观察马尔可夫决策过程的应用。 关键词：部分可观察马尔可夫; 决策算法; 智能体; 马尔可夫链; 值迭代算法 中图法分类号：TP 18 文献标识码：A 文章编号：1000-7024 (2007) 09-2 116-04 Research progress of partially observable Markov decision processes 1 2 WU Bo , WU Min (1. Department of Computer Application Engineering, Shenzhen Polytechnic, Shenzhen 518055, China; 2. School of Information Science and Engineering, Central South University, Changsha 4 10083, China) Abstract ：Partially observable Markov decision processes (POMDP) changes the non Markovian into Markovian over the belief state space. It has been an important branch of stochastic decision processes for its characteristics of describing the real world. At first, the principles and decision processes of POMDP is described, then three typical algorithms is presented, including Littman, et als witness algorithm, incremental pruning algorithm and Pineau, et als point-based value iteration algorithm, and the results from each of algorithms are analyzed and compared. At last, some applications are introduced using POMDP. Key words ：POMDP; decision algorithm; agent; Markovian; Iteration algor