强化学习及其在主机器人行为学习中的应用.pdfVIP

摘要 Y{3s019 摘 要 L ／ l强化学习是从动物学习、参数扰动自适应控制等理论发展而来的。强化学 习作为一种非监督学习，不需要有先验知识，而是通过与环境的不断交互获得 知识，自主地改进行为策略，具有自学习的能力。强化学习由于自身特点，在 自主机器人行为策略的学习中受到了国内外的越来越多的重视，已渐渐成为自 主机器人行为学习时首选的一种方法：) 近年来，强化学习发展迅速，国，内外的学者在其理论、方法和思想技术方 面进行了广泛的研究。由于强化学习研究的核心问题是算法的收敛速度，对提 高了强化学习的速度和效率，国内外学者提出了各种方法。然而，已有的研究 仍然存在一些局限性：首先，研究大多是在结构化的环境中进行的；其次，已 有的方法对所有的状态的值函数要全部记忆，随着强化学习的进行会导致不断 增长的状态动作空间和记忆容量；再次，这些方法没有考虑强化学习存在的风 险性和学习经验利用率低的问题。 弋针对现有研究的局限性，我们提出了两点改进：(1)用遗忘规则加快强化 学身：(2)将强化学习与基于案例的推理相结合的方法。通过将遗忘规则引入 强化学习．将长期不被利用的状态一动作对遗忘，对状态空间进行及时的更新， 以提高搜索和学习效率；基于案例的推理方法，依靠对过去的经验进行学习及 问题的求解。由于工作空间的环境具有某种程度的相似性，因而可以对过去的 求解结果进行复用。通过将强化学习与基于案例的推理相结合，可以充分利用 强化学习通过试错获得的经验，提高学习的效率，降低学习的风险性。本文详 细论述了所提出方法的可行性与优越性、讨论了方法的原理、关键性技术，以 及算法的描述与分析，实验结果证明了所提方法的有效性和优越性。琦7 ，／ 粼讯龇翱譬剃丫引搠默融翱 1 强化学习及其在自主机器人行为学习中的应用 Abstract the Reinforcement from animal learningdevelops learning and theories．Asan control other unsupervisedlearning perturbation theory adaptive notneed it does prioriknowledge，and method，reinforcement learning withthe obtained itsbehavior knowledgebycontinuouslyinterplaying improves policy hasthe of its withtheenvironment．Soreinforcement learning self-learning．For ability has moreandmoreattention intrinsic