Markov控过程的优化理论和算法.pdfVIP

摘 要 现实世界中的很多随机人造系统，如高速通讯网络、柔性制造系统、质量管 理系统等，都可用Markov过程来建模，为适应这类问题的优化控制和设计的需 要，论文重点研究了一类Markov控制过程在无限时间水平平均性能准则下的优 化理论和优化算法。 性能势在Markov系统的分析和研究中起着重要作用。我们用广义Poisson 方程的解来定义Markov性能势，并通过平衡方程和广义Poisson方程，建立了 连续时间Markov控制过程基于性能势的最优性原理，以及基于性能势的平均代 价最优性方程，又称之为基于性能势的Bellman最优性方程。在较弱的假设条件 下，我们得到了这个最优性方程在紧致行动集上解的存在性定理，给出了求解 平均代价最优策略的几种算法，即梯度算法、策略迭代算法和数值迭代算法， 并且详细地研究了迭代算法的收敛性，说明了这些算法在有限步内能确保得到 epsilon一最优策略。这些研究结果都能直接运用到离散时间Maikov控制过程中， 并且为进一步研究一般Markov控制过程的优化问题和设计求解最优策略的优化 算法，提供了一个统一的基本的理论框架。 f但是这种基于理论计算的优化方法，依赖于系统的精确模型，往往需要系统 的转移矩阵的完全信息，并且涉及到大量矩阵求逆运算。而对一个实际系统， 其状态空间可能很大，即存在所谓的“维数灾”问题，矩阵求逆将占用较多内 存空间和计算时间，甚至不可行；而且有的实际系统，其模型参数可能不全知， 不可能获得所有转移概率的信息，即存在所谓的“模型灾”问题。这两方面问 题限制了基于理论计算的优化方法的应用，需要考虑仿真方法。而性能势的一 个重要特点是可以通过仿真或观测实际系统的运行得到的单个样本轨道来获得 无偏估计。所以不同于基于理论计算的方法，我们还讨论了Markov控制过程基 于单个样本轨道仿真的优化算法。这些算法都将适用于大规模实际系统在模型 已知或未知情况下的优化求解。 注意到，在Markov控制过程的优化算法中绝大部分的运算仅涉及到矩阵和 向量的运算，具有很好的并行性。因此，我们建立了并行理论算法和并行仿真 算法，可以用来解决计算机的内存容量限制和运算耗时方面的问题，加快了寻 优速度。 另外对有些实际系统，其状态空间非常大，建立在查表表示法基础上的优化 算法可能不适用。因此，我们又发展了具有有限行动空间的Markov控制过程基 于神经元动态规划的优化方法。这里策略是用参数逼近结构，如神经元网络和特 征函数组合来表示，称之为参数化随机平稳策略。策略参数的数目比状态数少， 节省了存储空间，并且策略参数可通过系统的单个样本轨道来更新，以寻找最优 策略。这种方法，适用于解决一类大规模复杂人造系统的性能优化问题。 文章列举了大量数值例子，其中包括受控闭排队网络，来说明这些优化方法 的应用。W Abstract stochasticartificial as communication Manypractical systems，suchhigh-speed and be manufacturingsystemsqualitymanagementsystems，can networks，flexible of and modeledasMarkovcontrol theneeds by optimization processes．Motivated ofthese focusonthe ofthe and study theory design systems，we optimization