协同人机任务执行中偏好学习.pdfVIP

2017年IEEE国际机器人与自动化会议（ICRA）新加坡，‑6月3日

协同人机任务执行中的偏好学习

123

蒂博·蒙泽,图桑特和曼努埃尔·洛佩斯

SuperiorT´ecnico的成员manuel.lopes@tecnico.ulisboa.pt

—我们提出了一种新方法，在并发的人机联合任务执

行过程中学习人类的偏好。我们考虑的任务是由一名人类操作

员和一个机器人助手组成的团队实现的，该机器人助手应适应

人类的任务执行偏好。不同的操作员可能具有不同的能力、经

验和个人偏好，因此在团队中对活动的特定分配可能优于其他

分配。

并发多智能体合作的行为建模为半决策过

程，并展示了如何对团队行为的人类偏好进行建模和学习。在

提出两种不同的交互式学习算法后，我们对其进行了评估，结

果表明系统可以有效地学习并适应人类的偏好。

I.引言

机器人技术正在发展到我们现在可以实现紧密的人

机协作的程度。这开启了人们和机器人共同工作的许多

新的协作应用。在这种情况下，机器人可以具有简单的

重复行为，让用户适应它们，或者具备推理能力，成为

真正的团队成员。真正的协作涉及共享决策、相互支持

以及轻松互动和表达偏好的方式。

在这项工作中，我们希望探索这种直观的合作，其

中机器人不仅与用户共同执行共享任务，还以用户偏好

的方式执行。这些偏好是在一个直观的交互循环中学习

的。

我们采用这种方法是因为为了提高舒适度、效率、

接受度以及减少身体疲劳，应该是机器人学习和适应人

类的偏好，而不是相反。这些偏好在任务执行过程中学

习，以避免任务编程的周期，从而促进任务切换。

的研究考虑了偏好学习和模仿学习，但主要是

在单个任务的背景下。在本文中，我们提出了几种

不同的方法来学协同任务执行过程中对并发动作的

偏好。我们的贡献包括以下几点：i)使用关系活动过程

（RAPs）建模团队行为的形式化方法[1]；ii)使用

MDP工具表示偏好的形式化方法；iii)两种不同的算法

来交互式地学习偏好。我们在仿真和机器人上展示

了结果。

12

ThibautMunzer是法国Inria的成员MarcToussaint是德国

3

USTT的成员ManuelLopes是葡萄牙INESC‑ID、Instituto

可能比需要的多，甚至可能无法涵盖任务的关键方面。

为了解决这些问题，提出了将两个阶段合并的交互场

景。在[2],中，机器人仅在某个状态下对行动的信心低

于给定阈值时才进行查询。另法是[7],系统请

求有关重要状态的信息以学习代表任务的良好。其

他方法则在两个阶段之间平滑过渡，首先是通过远

图1.工具箱领域。如果协作机器人通过新零件并固定零件位程操作学习策略[8],或偏好[9],，并且在任何时候用

置来帮助用户，使拧螺丝更容易，那么盒子可以更轻松高效地组

户都可以恢复操作以纠正。

装。