机器人足球赛中基于增强学习任务分工.pdfVIP

第 卷第 期 机器人 ΡΟΒΟΤ ∂ 年 月 √ 文章编号222 机器人足球赛中基于增强学习的任务分工Ξ 顾冬雷 陈卫东 席裕庚 上海交通大学自动化研究所 上海 摘 要 本文研究了机器人足球赛中利用增强学习进行角色分工的问题 通过仿真试验和理论 分析 指出文 中采取无限作用范围衰减奖励优化模型 的 学习 ≈ ∏2 ± 算法对该任务不合适 并用平均奖励模型 对算法进行了改进 实验表明改进 √2 后学习的收敛速度以及系统的性能都提高了近一倍 关键词 算法 无限作用范围衰减奖励优化模型 平均奖励优化模型 ± 中图分类号 ×° 文献标识码 1 引言 利用各种学习方法提高移动机器人的适应能力是机器人领域当前的研究热点 作为一种 ≈ 无监督的学习方法 增强式学习由于它的普遍适用性受到了广泛的关注 其中 算法 由于 ± 其实现的简易性在研究中得到了最广泛的使用 ≈ 文 利用 算法 研究了机器人足球赛中的角色分工 文中假设每个机器人的行动能 ≈ ± 力 感知能力完全一样 基本行为也完全一样 一方由预编程决定前锋后卫的角色分工 另一方 ! 通过学习来确定机器人的角色分工最后学习一方的性能超过了预编程的一方 本文在我们自行开发的机器人足球赛仿真系统中仿真了文 中的实验 在实验过程中发 ≈ 现 利用 学习算法 学习结果和诸多因素有关 很难达到文 中所记录的性能 通过分析 ± ≈ 本文认为增强学习在该实验中的任务是学到优化的静态角色分工 方法采用的无限作用范 ± 围衰减奖励策略优化模型∏2 ≈常用于学习优化的动态行为 序列 不符合本实验的实际情况 而平均奖励策略模型 ≈ 比较有效 仿