基于矢量量化的强化学习和其在机器人行为学习中的应用.pdfVIP

高技术通讯2011年第21卷第2期：179—184 doi：10．3772／j．issn．1(gr2—0470．2011．02．012 基于矢量量化的强化学习及其在机器人行为学习中的应用① 段勇②。 伊婧。 张永赫‘ 徐心和” (。沈阳工业大学信息科学与工程学院 沈阳110870) (”东北大学信息科学与工程学院 沈阳110819) 摘 要 针对强化学习(RL)中状态空间过大所引起的学习时间过长或算法难于收敛等 问题，提出了一种基于矢量量化(VQ)技术的表格型强化学习方法——VQRL方法，该方法 用矢量量化器的码书矢量来逼近强化学习的状态空间，从而有效地解决了强化学习的状 态空间分割问题，并提高了学习的收敛速度。同时根据等失真理论将一种失真敏感自组 织特征映射(SOFM)神经网络用于矢量量化，以达到更好的强化学习状态空间泛化性能。 将此方法应用于反应式移动机器人的行为学习的实验验证了此方法的有效性，实验表明， 此方法能够较好地解决复杂未知环境的机器人导航问题。 关键词 强化学习(RL)，矢量量化(VQ)，码书，Q(入)学习，自组织特征映射 况[10]。 0引言 本研究将矢量量化(vector 术应用于强化学习(RL)状态空间的量化，形成了 强化学习(reinforcementlearning，fuL)是指智能 VQRL方法，目的是将连续的输入状态空间转化为 体通过与环境交互来掌握从状态空间到动作空间映 离散的输入状态，从而降低状态空间的复杂度。该 射策略的学习方式。在实际应用中，强化学习系统 方法可以使得矢量聚类结果自适应地反映状态矢量 的状态空间和动作空间往往是巨大的或连续变化 的分布特性，而且可以有效地减少泛化失真。由矢 的，这导致学习过程中的搜索空间过大，使得学习主 量量化的码书构成表格型的强化学习算法有助于探 体很难遍历整个状态空间、动作空间。因此，通常需 索策略的实现，同时使强化学习能以较快的速度搜 要采取函数逼近和空间量化等方法来减少强化学习 索到最优策略。矢量量化在码书足够多、维数足够 的空间规模，以实现强化学习算法u圳。目前，多数 高时，量化可任意接近失真下界¨1|，因此，本文应用 强化学习的理论证明以及算法推导都是基于离散的 feature 失真敏感自组织特征映射(self-organizing 表格型的强化学习方法。因此，如何进行强化学习 状态空间分割，并构成表格型强化学习算法是强化 样能够在一定条件下保证表格型强化学习算法的收 学习的一个重要问题，同时对强化学习的相关研究 敛性。将此强化学习方法应用于反应式移动机器人 和应用也有重要意义。状态空间分割常用的方法有 的行为控制中，可使机器人能够通过自身与环境的 交互来学习各种行为能力。 Moore等人提出的Parti．game算法【5|，它使用K．D树 来分割状态空间。此后，一些改进的Part．game算法 相继被提出㈦7I。Mumo和Kitamura提出了状态空1 强化学习算法 间分割方法——QLAss旧]，这种方法将状态空间按 1 照Voronoi图进行分割。文献[9]研究了基于模糊极强化学习中，智能体的状态空间为Js=hsi 小一极大神经网络的强化学习状态空间分割方法。 ∈