强化学习主要算法的研究.pdfVIP

　2004 年 9 月 渝西学院学报 ( 自然科学版) Sep , 2004 　 第 3 卷 　第 3 期 Journal of Western Chongqing University (Nature Sciences Edition) Vol3 　No3 强化学习主要算法的研究 李 　瑞 (渝西学院　数学与计算机科学系 ,重庆 　永川 　402168) [摘 　要]介绍了强化学习模型 ,分别提出了7 个主要的强化学习算法并讨论了它们之间的区 别和联系 ,最后指出了强化学习算法中有待解决的问题 [ 关键词]强化学习;动态规划 ;蒙特卡罗算法 ;瞬时差分算法 ( ) [ 中图分类号] TP3016 　[ 文献标识码]A 　[ 文章编号] 1671 —7538 2004 03 —0022 —04 1 　引言 强化学习是通过感知环境状态和从环境中获得不确定的信息来学习动态系统的最优策略,是构 造多A gent 的核心技术之一 强化学习把学习看作反复的试错“Trial - and - Error ”过程. 环境仅对系 统在某一状态下产生的动作的好坏做一种评价 ,但不告知如何产生最优的动作 由于外部环境提供的 信息很少 ,学习 A gent 必须搜集有关系统状态 、动作 、状态转移和奖赏值的信息来优化动作策略 本文 对几个基本的强化学习算法进行了讨论 ,指出了它们之间的区别和联系 ,最后给出了强化学习算法今 后的研究方向 2 　强化学习模型 强化学习模型由以下部分组成[ 1] :一个离散的状态集 s ∈S 和动作集a ∈A ,一个强化值集 r ∈R 且 R ∈{0 ,1} agent 和环境交互的状态 —动作序列表示为 : a0 a 1 a2 a3 s0 r0 ,s 1 r1 ,s2 r2 ,s3 r3 , …… 其中{s0 ,s 1 ,s2 , …,sn } 是状态集 , { a0 , a1 , a2 , …, an } 是动作集 实数 ri 表示 agent 在状态si 下执 行动作 ai 获得的立即奖赏信号 agent 执行一个动作除了获得立即奖赏信号外 ,还有从 A gent 面对的 后续状态 —动作映射的延迟奖赏 agent 获得的总奖赏值为 : ∞ 2 i γ γ γ γ r0 + r1 + r2 + …= ∑ ri ,其中 ∈[0 ,1] 为折扣因子 i = 0 π A gent 的任务就是学习控制策略 :S →A ,能够最大化期望奖赏值的总和 在给定行动选择策略 ∞ π π t ( ) γ 后 ,状态的值函数为 : V s = E [ ∑ rt | s0 = s ] i = 0