用于强化学习的值函数逼近方法研究.docVIP

用于强化学习的值函数逼近方法研究 硕士学位论文论文题目 用于强化 学习 的 值函数 逼近方法研究 研究生姓名 肖 飞指 导 教 师 姓 名 刘 全专 业 名 称 计算机软 件与理 论研 究 方 向 机器学习论 文 提 交 日 期 2013 年 5 月用于 强化 学习 的值 函数 逼近 方法 研究 中文 摘要 用于强化学 习 的值 函数逼近 方法 研究 中 文摘要 强化学习 系统以 Agent 与环境 的长期交互 为主要特征 。 该交互可以建模为一个马 尔科夫决策过程MDP 。 该环境可能是未知的、 动态变化的、 不确定的、 部分感知甚 至不可感知的。 面对这样的环境, 强化学习旨 在构建能够 自学习和在线学习 的智能系 统 , 这样必 然带来一定的复杂性 。 本文着眼于 大空间或连续空间的 MDP 任务所面临 的 “维数灾” 问题 , 以函数逼近强化学习中的值函数逼近为出发点 。 针对函数逼近解 决 “维数灾” 问题中面临的诸多挑战, 分析 了 不同类型逼近模型的优缺点, 提出了若 干值函数逼近模型及 对应的学习 算法。 主要研究内容 包括以下三部分 : (1)针对强化学习 算法面临的收 敛速度慢及 初始性能差 的问题, 提出 了一种基 于 势函数塑造奖赏机制 的值函数逼近模型及 算法 。 该机制 自适应地将模型知识以奖赏 的形式传递给学习器, 能够有效提高算法的收敛速度和初始性能 。 从理论上分析了算 法的收敛性,并通过 实验验证了算法的有效性 。 (2)鉴于核方法 的有效性 , 提出一种基于 最 小二乘支持向量回 归LSSVR 的 Q 值函数分片逼近模型 及算法 。利用 LSSVR 将值函数逼近问题转化为高维特征空间 中 的线性回归问题, 建立了一套完整的问题表示 、 转化和求解模型。 为了提高逼近模型 的精度, 利用动作关联的多个 LSSVR 模型来 分片逼近 Q 值函数。 针对强化学习的在 线特性,提出了随机样本池和基于 近似线性依赖ALD 的在线稀疏化样本池。 (3) 针对 RBF 网络逼近模型的 “灾难性扰动 ” 问题, 提出了一种基于自适应归 一化 RBF 网络的 Q-V 值函数协同逼近模 型及 算法 。对由 RBFs 提取得到的特征向量 进行归一化处理 , 并在线自适应地调整网络隐 藏层节点的个数、 中心及宽度, 可以一 定程度上 提高逼近模型的抗干扰性和灵活性 。 协同逼近模型中利用 Q 和 V 值函数协 同塑造 TD 误差,可以有效提高算法的收敛速度和初始性能 。 关键 词: 强化学习,值函数逼近, 塑造奖赏, 最小二乘支持向量回归,RBF 网络 作 者: 肖飞 指导 老师: 刘全(教授) I Abstract Research on Value Function Approximation Methods within Reinforcement Leanring Research on Value Function Approximation Methods within Reinforcement Learning Abstract Reinforcement Learning RL systems are characterized by a long-term interaction between the agent and an unknown, dynamically changing, uncertain, partially observable, possibly even unobservable environment. This interaction can be modeled as a Markov Decision Process MDP. RL aims to build intelligent systems capable of self-learning and online learning under this environment, and this will inevitably bring some complexityThis thesis focuses on “curse of dimensionality” existing in MDP tasks with a large space or continuous space. The value function approximation of RL function approximation is the starting point. There are many challenges whe