非一致有界费用MDP的强平均最优性条件.pdfVIP

2010年 3月 运 筹 学 学 报 第 14卷 第 1期 March，2010 0R TRANSACTIONS V01．14 No．1 非一致有界费用MDP的强平均最优性条件 肖晴初 ，t 谭杭生 摘要 研究可数状态空间任意行动空间非一致性有界费用马氏决策过程 (MDP)的强 平均最优，给出了使得每个常用的平均最优策略也是强平均最优的条件，并实质性的推广了 Cavazos—Cadena和Fernandez—Gaucheran(Math．Meth．Oper．Res．，1996，43：281—300) 的主要结果 ． 关键词运筹学，马氏决策过程 (MDP)，强平均费用准则，非一致有界费用，充分条件 学科分类号(GB／T13745—92)I10．74 A Condition forStrongAverageOptimality ofM DP with Non-uniform lyBounded Costs XiaoQingchu ，2’ TanHangsheng Abstract Inthispaper．weconsidertheMrakovdecisionprocessesunderanaverage costcriterion withnon．uniformly boundedcost，denumerablestateandrabitraryaction spaces．SomeSU~cientconditionsaregivenunderwhichevery averageoptimalpolicy iS strongaverageoptima1．W eimprovethemalnresultsobtalnedbyCavazoS—CadenaR．and Fernandez．GaucheranE．(Math．Meth．Oper．Res．，1996，43：281—300)． KeywordsOperationsreserach，Mrakovdecisionprocesses，strongaverageoptimal· itycriterion，non．uniformlyboundedcost，SUfficientconditions SubjectClassification (GB／T1374592)110．74 1 引言及模型 马氏决策过程 (简记为MDP)平均模型是随机最优控制问题中非常重要的一类， 它在很多领域有广泛应用 [1--3】，其常用的最优性准则是平均期望费用准则 (简记为 AC)[2,4--5]．不过， AC准则完全忽略了有限阶段 内费用的变化 [5-6】．因此，Ghosh 和Marcus引入了强平均期望费用准则 0【】(简记为 SAC)，并给出了无界费用下 SAC最 优策略存在的条件．此后，Cavazos—Cadena和 Fernandez—Gaucheran[J在比Ghosh和 Marcus[6】更弱的Sennott[8,9]条件下，对于有界费用情形，证明了每个AC一最优策略也 是SAC一最优的，并给出了AC一最优策略不是 SAC．最优策略的无界费用的例子．然 收稿 日期： 2009年 8月 10日． 本文得到湖南省自然科学基金项目(08JJ3004)，湖南省社会科学基金项目(08YBB187)的支持 1．中南大学数学科学与计算技术学院，长沙，410075；SchoolofMathematicalScienceandComputing Technology，CentralSouthUniversity，Changsha410075，China 2．湖南商学院信息学院，长沙，410205；InformationDepartmentofHunanUniversityofCommerce， Changsha410205，China t通讯作者 Corresp0ndingauthor 肖晴初，谭杭生 l4卷