半Markov决策过程的研究进展.pdfVIP

郭先平等：半 Markov决策过程的研究进展 大量应用 Bauerle和 Rieder1【3】概述了DTMDP折扣准则和有限阶段准则的理论成果，尤其是分析了 它们在金融与保险中的大量应用；Hu和 Yue[14]讨论了DTMDP在管理中的应用；Sigaud和Buffet[15] 总结了MDP在人工智能方面的应用；Mahadevan[16]分析了DTMDP的动态系统学习控制理论、算 法和应用等；Simar和 Parsons[17]对 DTMDP和BDI(belief-desire—intention)两种模型及其关系进行 了统一分析．关于CTMDP的研究也取得系列进展：连续时问MDP的研究源于Howard0【】的开创性 工作．之后，Gihman和 Skorohod4[】考虑 了一般状态有限阶段模型及转移率有界的可数状态折扣模型； Puterman[7】和 Sennot[8]考虑 了状态空间可数的平均和折扣准则；文献 1『8，19]对可数 CTMDP折扣 与平均准则的理论和应用进行了系统分析；Guo等人 [20j]研究了一般状态 CTMDP的折扣与平均 模型．相对 DTMDP的研究来说，连续时间MDP的理论研究还不完善，需要进一步研究．例如，从事 Markov决策过程研究的国际著名学者 Feinberg教授在 MathematicalReviews和 ZentralblattMATH 上均说：连“续时间Markov决策过程的研究领域还未完全开展，确信将来会进行大量研究”． SMDP由Jewell5【】和 Howard[25]将 MDP推广到Markov更新 f半 Markov)过程而建立，故又称 为 Markov更新规划 (Markovrenewalprograms)．文献 f26—291等对 SMDP理论作了早期的探索．由 于 SMDP的状态逗留时间可为任意概率分布，与逗留时间为固定常数的DTMDP和逗留时间服从指 数分布的CTMDP相比，更具有一般性和广泛性，因而在工程技术和社会经济中具有广阔的应用前景 和研究潜力．自20世纪 60年代 以来，伴随着实际问题的推动，新的优化准则、优化问题不断被提出， SMDP的研究领域也不断被拓宽，研究成果曰趋丰富，其实际应用范围已深入到通信网络、设备维修、 资源分配、水库发 电、排队优化、金融市场和流行病模型等众多领域． 本文将综述 SMDP的研究进展，介绍 SMDP最新的理论成果．我们在第 3-9节分别介绍 SMDP 的折扣准则、平均准则、有限阶段准则、首达 目标准则、概率准则、受约束问题和均值 一方差 问题的 研究工作．将着重阐述它们的背景、意义、现有主要工作及有待研究的问题．最后，讨论SMDP未来的 一 些潜在发展方向． 2 SMDP模型 SMDP的模型由如下五元素构成 {E，A，(()， ∈E)，Q(dt，dyIX，n)，r(，0)} (2．1) 其中，E和 分别是状态空间和行动空间，假定它们均为Borel空间并分别赋予Borel 代数B(E)和 ()；A(x)∈B(A)表示在状态 X∈E时的允许行动集；Q(dt，dyIX，a)是半 Markov核，它是给定 时定义在 +×E的随机核，其中，K ：={(，a)lx∈E，a∈ ()}是允许状态 一行动集，+：：0[，。。)； r(x，a)是报酬 (费用)率函数，且在 上可测． 根据 Radon—Nikodym定理，半 Markov核 Q可以作如下分解： ， Q(t，DJ，0)= ／F(tJ，0，y)p(dyl，n)Vt∈JR+，D∈U(E)， (，0)∈K， (2．2) 其中，F(．f，a，Y)表示当选取行动a且下一个状态转移到Y时在状态 逗留时间的分布，而p(．IX，a) 表示系统状态的转移概率． 与 DTMDP和 CTMDP类似，在 SMDP中，若系统在某决策时刻处于状态 ∈E，决策者根据 某个规则选取一个行动 o∈A()，那么将发生下列两个事件 (不管系统以前的历史如何)：(i)以报酬率 478 中国科学 ：数学 第 45卷 第 5期 r(，a)连续地发生报酬直到下一决策时刻；(ii)系统状态以概率 Q(dt，dyJX，a)在 处停留t个时间 单位，然后转移到Y∈E，接着下一决策时刻发生． SMDP的动态演化过程可以如下描述：