动态影响图模型研究-智能系统学报.PDFVIP

第 3 卷第 2 期 　　　 　　　　 　　　　　　　智 　能 　系 　统 　学 　报 　　　　 　　　　 　 　 　　Vol . 3 №. 2 2008 年 4 月 　　　　　　　 　 　　 　　　　　　　　　　　Ap r . 2008 CAA I Tran saction s on Int elligent Sy st em s 动态影响图模型研究 1 ,2 2 2 俞 　奎 ,王 　浩 ,姚宏亮 ( 1. 常州纺织服装职业技术学院 ,江苏 常州 2 13 164 ;2 . 合肥工业大学 计算机与信息学院 ,安徽 合肥 230009) 摘 　要 :部分可观察马尔可夫决策过程在策略空间和状态空间上的计算复杂性 ,使求解其一个最优策略成为 N P har d 难题. 为此 ,提出一种动态影响图模型来建模不确定环境下的 Agent 动态决策问题. 动态影响图模型以有向无 环图表示系统变量之间的复杂关系. 首先 ,动态影响图利用动态贝叶斯网络表示转移模型和观察模型以简化系统的 状态空间;其次 ,效用函数以效用结点的形式清晰地表示出来 ,从而简化系统效用函数的表示 ;最后 ,通过决策结点 表示系统的行为来简化系统的策略空间. 通过实例从 3 个方面和 POMD P 模型进行了比较 ,研究的结果表明 ,动态影 响图模型为大型的 POMDP 问题提供了一种简明的表示方式 ,最后在 Robocup 环境初步验证了该模型. 关键词 :动态贝叶斯网络 ; 影响图; 马尔可夫决策过程 ; 部分可观察马尔可夫决策过程 ; 动态影响图 中图分类号 : TP 181 　文献标识码 :A 　文章编号 (2008) 020 15908 A dynamic influence diagram f or dynamic decision processes YU Kui1 ,2 , WAN G Hao2 , YA O Honglian g2 ( 1. Dep art ment of Comp ut er Science , In stit ut e of Textile and Garment of Changzhou , Changzhou 2 13 164 , China ;2 . School of Comp ut er and Information , Hefei U niver sit y of Technolo gy , Hefei 230009 , China) Abstract :Co mp ut ational co mp lexitie s in st rat egy sp ace and st at e sp ace make t he p artially ob servable Mar k ov deci sion p roce ss ( POMD P) an N Phar d p roblem . Therefore , in t hi s p ap er , a dynamic influence diagram i s p ropo sed to mo del t he deci sionmaking p roblem wit h a sin gle agent , in w hich a direct ed acyclic diagram i s u sed to exp re ss t he co mp lex relatio n ship s bet ween sy st ematic variable s. Fir st ly , a dynamic Baye sian net wor k i s u se