报酬无界的连续时间折扣马氏决策规划.pdfVIP

维普资讯 J／／台 应用概率统计 第十三卷 J ( iJlc∽Jo IⅢ1ofAIplir。‘【ItobaliliD 第一期 1997年2月 I allII laJi V·__1 No 1Feb 1~197 ／尸，7＼』』lo／＼／ 0 报酬无界的连续时间折扣马氏决策规划丰 lj(j) 伍 从 斌 丝 丝 02／／z f云前恝 匿前i6商) 馄 明工学院，昆fll『，65U093) 卜fD 摘 要 rn、 本文讨论报酬函数无界 ． 转移速率族一致有界，状态空问和行动集均T数的连续时问折扣马 氏决策规划 (CTMDP)．文中引人了一类新的无界报酬函数，并在一新的-q氏策略娄f11． 叩r有 界报酬下成立的所有结果；讨论了最优策略的结构，得到了该模型策略为最优的一个充要条什． 关键词：连续时问吕氏决策规划，无界报醣 折扣准则．最优策匍}}． 学科分类号。。 ‘ C丁D尸 S1． 引 言 在CTMDP的研究中所讨论的策略类主要是平稳策略类f41I6】或马氏策略类，当讨论的是马 氏策略类时 往往假定对每个策略 ∈n (()，Q(t，)，唯一地决定一q过程 【1儿2]，这个条件显然 是难以验证的，为此有作者f3]l5】提出一些充分条平牛．假定对v丌∈ll(c)Qit，)关于 连续．但 是该假设的成立意味着任何策略均不影响过程，从而失去决策的意义 (见本文船)．因此．这个假 设也不合理．此外．由于CTMDP已知的是转移速率矩阵族，人们灵能依据由向前、向后微分方 程组所确定的转穆速率矩阵和转穆概率矩阵的关系来估计耳标函数的收敛速度．而报酬函数的 无界易带来诸如 目标函数不存在．求和不可交换等难以克服的问魉 这样，尽管考虑报酬无界的 GTMDP在理论上和实际中都很有意义．但这方面的结果确不多见．5『1就状态集和行动集均可 列，报酬无界的CTMDP，在确定性马氏策略类中对最优策略的存在性作过讨论，55【l的讨论水质上 是在转移速率族一致有界的条件下进行的，但由于对所讨论的策略类作-r不恰当的要求．使其讨 论不够彻底 ． 本文 §2中引人了一类新的无界报酬函数及一新的马氏策略类 IIf口)，并对n ( 巾每个策 略证明了目标函数的存在性，S3中ii．i~该模型最优策略的存在性．得到了和报酬有界情形同样的 结果．54中讨论最优策略的结构．首次得到当所考虑的策略类不 于平稳策略类时．一个策略为 最优的充要条件 ． §2．模 型 本文讨论的CTMDP为 {，．【 I．∈ )，口，r． ：状态空间 行动集 ()(i∈ )均为可列 云南省应用基础研究基金资助 幸文199,t年8月25日收到． 维普资讯 集 ．转移速率族 保守．有界 一 。oq(ifi，n) 0， (川f，n)≥D， i≠ ．i，J∈．，“∈．4(i) ∑q(Jli“)=D，li： sup 卜q·(ili．n)}o。 JE t∈S．aE^ti) 无界报酬函数，满足： rlt(i．“)l MR(i)．Vi∈ ．n∈ (f)． J∑~(jli，()‘(J)s (~)Ick+1(1)，=1．2，…．，H一1， 、 JE l∑q(jli，“)RD) D，Vi∈，