结构化状态空间中递阶再励学习方法.pdfVIP

结构化状态空间中的递阶再励学习方法 第六图书馆 在状态空间满足结构化条件的前提下,通过状态空间的维度划分直接将复杂的原始MDP问题递阶分解为一组简单的MDP或 SMDP子问题,并在线对递阶结构进行完善.递阶结构中嵌入不同的再励学习方法可以形成不同的递阶学习.所提出的方法在具 备递阶再励学习速度快、易于共享等优点的同时,降低了对先验知识的依赖程度,缓解了学习初期回报值稀少的问题.在状态 空间满足结构化条件的前提下,通过状态空间的维度划分直接将复杂的原始MDP问题递阶分解为一组简单的MDP或SMDP子问题 ,并在线对递阶结构进行完善.递阶结构中嵌入不同的再励学习方法可以形成不同的递阶学习.所提出的方法在具备递阶再励 学习速度快、易于共享等优点的同时,降低了对先验知识的依赖程度,缓解了学习初期回报值稀少的问题.再励学习(RL) 递 阶再励学习 结构化状态空间控制与决策孟江华 朱纪洪 孙增圻 [1]清华大学计算机科学与技术系 [2]北 京2007第六图书馆 第六图书馆 第 22 卷 第 2 期 控 　制 　与 　决 　策 200 7 年 2 月 Vol . 22 N o . 2 Cont r ol an d D ecisi on 　　Feb . 2007 　　文章编号 : 100120920 (2 007) 022023320 5 结 构 化 状 态 空 间 中 的 递 阶 再 励 学 习 方 法 孟江华 , 朱纪洪 , 孙增圻 (清华大学 计算机 科学与技术系 , 北京 1000 4) 摘 　要 : 在状态空间满足 结构化条件的前提下 ,通过状态空 间的维度划 分直接将 复杂的原始 MD P 问题递 阶分解 为 一组简单的 MD P 或 SMD P 子问题 , 并在线对递阶结构进行完善 . 递阶结构中嵌入不 同的再励学习方法可 以形成 不 同的递阶学习. 所提出的方法在 具备递阶再励学习速度快 、易于共享等优点的同时 ,降低了对先验知识的依赖程度 , 缓解了学习初期回报值稀少的问题 . ( ) 关键词 : 再励学习 RL ; 递阶再励学习 ; 结构化状态 空间 中图分类号 : TP1 1 　　　　文献标识码 : A Hier ar ch ical r einf or cemen t learn in g algor it hm ba sed on str uctur al state2space M E N G J i a n g2h ua , Z H U J i2hon g , SU N Zen g2qi (Dep ar tme nt of Comp ut er Science an d Technology , T sin ghua U niver sit y , Beijin g 1000 4 , China. Cor respo nde nt : M EN GJ ian g2hu a , E2mail : men g_jia n ghua @2 63 . n et) Abstr act : In t er ms of struc tu ral st at e2space , th e comp le x MD P p roblem is divid ed int o a set o f simp le MD P or SMD P p roblems hier archically accordin g t o dimen sionality of th e st at e2sp ace. Th e hiera rchically str uctu re i s imp roved in lea rnin g p roce s