扩展MARKOV决策过程的性能灵敏度分析与优化.pdfVIP

摘疆 摘要 随着科学技术的发展，在通讯网络(Internet及无线网络1，柔性制造，智能机器 人，交通管理等领域，出现了大量的复杂随机动态系统。目前，该类系统的性能优化 问题是众多领域的研究热点。这些领域包括控制系统领域，运筹学领域，计算机科学 领域以及人工智能领域等等。不同领域出现了解决该问题的不同方法，如控制系统领 域的离散事件动态系统的摄动分析方法，运筹学领域的Markov决策过程理论，计算机 科学和人工智能领域的强化学习(或神经元动态规划)方法。虽然这些方法对系统结构有 着不同的描述，但这些方法都是围绕着同一个目的展开，即寻找一个“最好的策略” 来优化系统的性能。 近几午来，一种基于灵敏度观点的优化方法将以上不同领域的不同方法有机的统 一起来。该方法以性能势理论为基础，通过两种性能灵敏度公式：性能差公式和性能 导数公式，将摄动分析方法，Markov决策过程理论以及强化学习方法统一在同一框 架下。该方法不仅可以基于模型采用理论计算的方法来寻找系统的最优策略，而且可 以在系统模型参数未知的情况下基于一条样本轨道在线地改进系统性能。因而在某种 程度上它解决了该类系统的“维数灾”和“模型灾”问题。目前为止，该方法的主要 主要研究了半Markov决策过程和部分可观Markov决策过程的灵敏度分析和优化问题。 广。半Markov决策过程在每个状态的逗留时间是服从一般分布而非指数分布。部分可 观Markov决策过程的状态不能直接观测，但能以概率观测到与状态相关的观测信息。 这些特点使得对实际系统的描述更加合理，从而基于该两类过程所得到的理论和算法 可以更好地应用于很多实际系统的优化。 和折扣性能准则下，分别引入了两个无穷小矩阵，由此定义了半Markov决策过程的 性能势，并导出了半Markov决策过程在平均性能准则和折扣性能准则下的性能差公 式和性能导数公式。在此基础上，给出了半Markov决策过程的塌优性方程，建立了 半Markov决策过程性能梯度的计算和估计方法以及基于势能的策略迭代算法。 对离散时间部分可观Markov决策过程，首先对基于观测的策略下的部分可 观Markov决策过程，建立了性能差和性能导数公式。返两种灵敏度公式在一定条 件下仪依赖于系统的观测和行动，因而更有利于性能梯度的估汁和在线策略迭代的设 J’。在灵敏度公式的基础上，我们给山了性能梯度的两种估计算法和在线的策略迭代 算法。随后，借助于策略的有限状态控制机描述，我们建立了带有有限内部状态的离 散时间部分可观Markov决策过程的灵敏度公式。借助丁该灵敏度公式，给出了性能梯 摘要 度的估计算法以及基于模型的策略迭代算法和在线的策略迭代算法。 此外，对连续时间部分可观Markov决策过程，我们给出了一种性能梯度估计方 法。该方法将离散时间部分可观Markov决策过程中的GPOMDP算法扩展到了连续时间 模型，为连续时间部分可观系统的优化提供了方法。 策)过程的推广。对于～些特殊形式的切换，我们给出了与切换过程等价的Markov(决 策1过程描述。 关键词：半Markov决策过程，部分可观Markov决策过程，性能优化，性能灵敏 度分析，基于事件优化．切换过程 英文摘要 Abstract Withthe ofscience developmentand are numbersofcom— technology，therelarge andstochasticin and plicated systemsmanyare．as，including traffic etc．So robotics，and wireless)，manufacturi