用于强化学习的值函数逼近方法的研究.pdfVIP

用于强化学习的值函数逼近方法研究 中文摘要 用于强化学习的值函数逼近方法研究 中文摘要 强化学习系统以Agent 与环境的长期交互为主要特征。该交互可以建模为一个马 尔科夫决策过程(MDP) 。该环境可能是未知的、动态变化的、不确定的、部分感知甚 至不可感知的。面对这样的环境，强化学习旨在构建能够自学习和在线学习的智能系 统，这样必然带来一定的复杂性。本文着眼于大空间或连续空间的MDP 任务所面临 的“维数灾”问题，以函数逼近强化学习中的值函数逼近为出发点。针对函数逼近解 决“维数灾”问题中面临的诸多挑战，分析了不同类型逼近模型的优缺点，提出了若 干值函数逼近模型及对应的学习算法。主要研究内容包括以下三部分： （1）针对强化学习算法面临的收敛速度慢及初始性能差的问题，提出了一种基 于势函数塑造奖赏机制的值函数逼近模型及算法。该机制自适应地将模型知识以奖赏 的形式传递给学习器，能够有效提高算法的收敛速度和初始性能。从理论上分析了算 法的收敛性，并通过实验验证了算法的有效性。 （2 ）鉴于核方法的有效性，提出一种基于最小二乘支持向量回归(LSSVR) 的 Q 值函数分片逼近模型及算法。利用LSSVR 将值函数逼近问题转化为高维特征空间中 的线性回归问题，建立了一套完整的问题表示、转化和求解模型。为了提高逼近模型 的精度，利用动作关联的多个LSSVR 模型来分片逼近Q 值函数。针对强化学习的在 线特性，提出了随机样本池和基于近似线性依赖(ALD) 的在线稀疏化样本池。 （3 ）针对RBF 网络逼近模型的“灾难性扰动”问题，提出了一种基于自适应归 一化RBF 网络的Q-V 值函数协同逼近模型及算法。对由RBFs 提取得到的特征向量 进行归一化处理，并在线自适应地调整网络隐藏层节点的个数、中心及宽度，可以一 定程度上提高逼近模型的抗干扰性和灵活性。协同逼近模型中利用Q 和V 值函数协 同塑造TD 误差，可以有效提高算法的收敛速度和初始性能。 关键词：强化学习，值函数逼近，塑造奖赏，最小二乘支持向量回归，RBF 网络 作 者： 肖飞 指导老师： 刘全（教授） I Abstract Research on Value Function Approximation Methods within Reinforcement Leanring Research on Value Function Approximation Methods within Reinforcement Learning Abstract Reinforcement Learning (RL) systems are characterized by a long-term interaction between the agent and an unknown, dynamically changing, uncertain, partially observable, possibly even unobservable environment. This interaction can be modeled as a Markov Decision Process (MDP). RL aims to build intelligent systems capable of self-learning and online learning under this environment , and this will inevitably bring some complexity. This thesis focuses on “curse of d