动态影响图模型研究.pdfVIP

维普资讯 第3卷第2期 智 能 系 统 学 报 Vol|3NQ．2 2008年 4月 CAAITransactionsonIntelligentSystems Apr．2008 动态影响图模型研究 俞 奎 ，王 浩 ，姚宏亮 (1．常州纺织服装职业技术学院，江苏 常州 213164；2．合肥工业大学 计算机与信息学院，安徽 合肥 230009) 摘 要：部分可观察马尔可夫决策过程在策略空间和状态空间上的计算复杂性 ，使求解其一个最优策略成为NP— hard难题．为此，提出一种动态影响图模型来建模不确定环境下的Agent动态决策问题．动态影响图模型以有向无 环图表示系统变量之间的复杂关系．首先，动态影响图利用动态贝叶斯网络表示转移模型和观察模型以简化系统的 状态空间；其次，效用函数以效用结点的形式清晰地表示出来 ，从而简化系统效用 函数的表示；最后，通过决策结点 表示系统的行为来简化系统的策略空间．通过实例从3个方面和POMDP模型进行了比较，研究的结果表明，动态影 响图模型为大型的POMDP问题提供了一种简明的表示方式，最后在 Robocup环境初步验证了该模型． 关键词：动态贝叶斯网络；影响图；马尔可夫决策过程；部分可观察马尔可夫决策过程；动态影响图 中图分类号：TP181 文献标识码：A 文章编号：1673—4785(2008)02—0159—08 A dynamicinfluencediagram fordynamicdecision processes YU Kui～，W ANG Hao ，YAO Hong—liang (1．DepartmentofComputerScience，InstituteofTextileandGarmentofChangzhou，Changzhou213164，China；2．Schoolof ComputerandInformation，HefeiUniversityofTechnology，Hefei230009，China) Abstract：ComputationalcomplexitiesinstrategyspaceandstatespacemakethepartiallyobservableM ark— OVdecisionprocess(POMDP)anNP-hardproblem．Therefore，inthispaper，adynamicinfluencediagram isproposedtomodelthedecision-makingproblem withasingleagent，inwhichadirectedacyclicdiagram isusedtoexpressthecomplexrelationshipsbetweensystematicvariables．Firstly，adynamicBayesiannet— work isusedtorepresentthetransitionandobservationmodelsSOastoreducethestatespaceofthesys— tem．Secondly，inordertoreducetherepresentationalcomplexityoftheutilityfunction，itisexpressedin termsofutilitynodes．Finally，theactionsofthesystem arerepresentedwith decisionnodestosimplify thestrategyspace．Thedynamicinfluencediagram iscomparedwith thePOMDP usingthesethreeas— pects．Ourresearchindicatesthatadynamicinfluencediagram providesasimplewaytoexpressPOMDP proble