基于观测的POMDP优化算法及其仿真.pdfVIP

维普资讯 第 37卷第 3期 信 息 与控制 、bl_37．NO．3 2008年 6月 InofrmationandConffol June．2o08 文章编号： 1002-0411(2008)03-0346-06 基于观测的PoMDP1尤化算法及其仿真 黄 静，殷保群，李 俊 (中囝科学技术大学嘲络传播系统与控制联合实验室，安徽 合肥 230027) 摘 要 ： 分析马尔 犬决策过程 (MarkovDecisionProcess，MDP)性能灵敏度 的基础 ，讨论 _r部分町 测马尔 口，夫决策过程 (PartiallyObservableMarkovDecisionProcess，POMDP)’的性能优化 问题 ．给 J}lrPOMDP 忡能 敏度分析公式，并 以此为基础提 …r两种皋于观测的POMDP优化算法：策略梯度优化算法和策略迭 代优 艺『算法．最后以准许控制 问题为仿真实例，验证了这两个算法的肯效 ． 关键词：部分 口』观测马尔可人决策过程 (POMDP)；灵敏度分析；优化；仿真 中图分类号：0232 文献标识码：A AnObservation-basedOptimizationAlgorithm forPOMDPandItsSimulation HUANG Jing，YIN Bao—qun，LIJun (JointLabofNetworkCommunicationSystemandControl，UniversityofScienceandTechnologyofChina，Hefei230027，China) Abstract：Theproblem ofperformanceoptimizationforpartiallyobservableMarkovdecisionprocess(POMDP)is addressedbasedonthesensitivityanalysisofMarkovdecisionprocess(MDP)．Thesensitivityanalysisfomr ulasaregiven． Basedontheseresults，twoobservation-basedoptimizationalgorithms，i．e．，policy-gradientandpolicy-iterationalgorithms aredevelopedforPOMDE Toverifythesealgorithms，asimulationbasedontheproblem ofadmissioncontrolisalso presented． Keywords：partiallyobservableMarkovdecisionprocess(POMDP)；sensitivityanalysis；optimization；simulation 很难适应该类系统的实时在线优化 ． 1 引言 (Introduction) 本文住MDP性能灵敏度分析和基丁事件的处 随着信息技术、计算机和机器人等一人批高 理方法f7_的基础上，研究了POMDP性能灵敏度分 新技术的发展和应f}}j，POMDP的优化理论和方法 析 问题 ，导 出了性能差公式和性能导数公式，实现 的研究已成为一个令人注 目的热 门领域．POMDP 了POMDP问题的在线优化 ．目前人多数 POMDP 模型具有相当的广泛性，正如文 【1]所说，要想举 优化算法都需要处理系统 内部状态的转移，这是 山一个现实中不能，L