奇异摄动marov决策过程的优化算法.pdfVIP

摘要 Mrkov决策过程作为离散事件系统优化理论的一个重要的分支，并且广泛的应用于 诸如，排队网络，计算机和通信网络中在实际的问题中，系统一般具有大规模状态空间． 对于具有大规模状态空间的Markov决策过程的优化算法也日益成为Markov决策过程研 究的一个重要课题在对于此类问题的研究中，早期提出的一般的值迭代的方法和策略 迭代的方法会伴随着状态数量的增加而产生计算量和存储量的快速增长实至今日，”状 态灾“问题仍然是Markov决策过程研究中的一个具有挑战性的问题、而且现在对于”状态 灾’：的问题也没有有效的通用的算法 在本文中，介绍了一类基于样本轨道的优化算法，而且该算法的最大的特点是针对 于一类具有特殊结构的Markov决策过程即，奇异摄动Markov过程．该过程的状态空间 可以分解成为若干个互不相交的子空间的并，这些子状态空间之间的相互转移的概率远 远低于每个子空间内的元素之间的转移概率奇异摄动Markov过程的特点在于它的层次 性的结构，第一层次是子状态空间的状态转移，第二层次是子状态子空间之间的转移 Markov决策过程的优化算法中有一类基于仿真的梯度算法在这一类算法中，首 先通过己知的概率转移矩阵，生成一条样本轨道，这里，样本轨道也可以通过实际系统 的在线运行