部分可观察马尔可夫决策过程研究进展..docVIP

0引 言 部分可观察马尔可夫决策过程 (partially observable Markov decision processes , POMDP 描述的是当前世界模型部分可知的 情况下,智能体 Agent Agent 的 例如, 足球运动员在球场上踢 足球, 每个球员并不完全清楚他周围的所有状态, 当他向前 带球的过程中, 他可能知道在他前面人的位置和状态, 但是 可能不知道在他后面的其他队友的位置和状态, 此时他观察 到的信息是不完整的, 但是一个优秀的足球运动员往往靠着 一种感觉传给他身后的最有利的队员, 使其进行最有利的进 攻, 过程就是部分可观察马尔可夫决策过程。在部分可感知模 型中, 不仅要考虑到状态的不确定性, 同时还要考虑到动作 的不确定性,这种世界模型更加能够客观的描述真实世界, 因此应用十分广泛。 本文综述了目前在 POMDP 领域的研究情况, 介绍了 MDP 的数学理论基础和决策模型, 以及一种典型的 POMDP 决策算 法-值迭代算法, 介绍了目前现有的几种经典的决策算法, 并 分析它们之间的优点和不足, 列举了一些 POMDP 常见的应用 领域, 并进行了总结和展望。 1马尔可夫决策过程 Agent 每一个时刻都要做一些决策, 做决策时不仅要考虑 甚至是其它 Agents (Markov decision process , MDP 的最优解, MDP