通过可穿戴式传感器人类行为识别的机器人语义映射.docVIP

通过可穿戴式传感器对人类行为识别的机器人语义映射 李刚 朱春 杜金浩 程琦 盛伟华 陈和平 摘要：语义信息可以帮助人类和机器人更好的了解他们所处的环境。在人类与机器人共存的室内环境中，为了有效地获取语义信息并将其链接到一个度量图中，我们提出人类行为识别的语义映射算法。当人类行为可以通过安装在人类身上的可穿戴式移动传感器提取的移动数据来识别时，智能移动机器人平台可以创建一个二维度量地图。将预先学习的活动家具类型以及机器人姿势预估相联合，机器人可以在二维度量地图中确定家具类型的分布。无论是模拟实验还是真实实验，他们都表明该方法能够创建一个有精确语义信息的可靠的度量地图。 关键词：语义映射，人类行为识别，可穿戴式传感器，即时定位与地图构建（SLAM） 引言 A.目标 随着机器人研究工作的进步，有人预测，在未来的二十年内，机器人将能够适用复杂的、陌生的环境，而且能够与人类互动并帮助人类完成日常生活中各种任务，包括家居清洁、安全、护理、生命支持以及娱乐等等[1]。在相同的并存环境中，可以通过诸如人类与环境的相互作用向机器人提供有价值的信息。这些将使得机器人更好地了解环境，进而更好的服务人类。 环境知识通常以地图的形式被编码。在过去十年中，关于如何表示、建立并维护地图的问题一直是最热门的机器人研究领域之一。对于像导航这一类的基础任务，现有的格式都是很有效的，例如度量地图[2]和拓扑地图[3]。然而，这些格式不包含任何关于环境的高层次语义描述，而在与人类共存的环境中，这些信息是机器人能否完成高难度任务的关键。例如，度量地图可能展示房子的几何外形，但是它不能传达那些几何形状的意义，像椅子、床、桌子等等。同时，也不包含房子的类型信息，如厨房或者卧室。然而，这些语义信息在一些任务中至关重要，例如人类在睡觉，需要调暗卧室的灯光这种情形。 通过在度量地图上做一些特殊的标记，语义地图便可以手动创建。但是，人类迫切地希望机器人能够自动地进行语义映射。本文中，我们主要讨论机器人对于住宅环境的语义映射。机器人需要绘制一幅二维地图，并且将其中的家具贴上标签，例如桌子、椅子、床、柜子等等。为了提取这些地标，基于视觉的识别技术在文献中已被采用[4]。这些算法的缺点在于其高计算的复杂性。在模式识别中，从视觉信息中提取特征信息对于内存和数据处理能力有很苛刻的要求。此外，基于视觉的方法会受到周围环境光线条件的严重影响，在低光度环境下，甚至无法完成识别。为了克服基于视觉的语义映射的缺点，本文提出了一种新的方法进行机器人语义映射。我们假设从人类与周围环境的物体交互可以推断出语义信息。我们使用可穿戴式传感器来识别人类行为。这种方法能够避免许多通过继承基于视觉的物体识别技术进行语义映射的困难。 图1展示了通过可穿戴式传感器对人类行为进行识别的自动语义映射。机器人通过实现即时定位与地图构建（SLAM）算法[5]绘制一个陌生的室内环境的二维度量地图。在此期间，机器人通过板载视觉定位人类身体，通过附着在人类身体上的移动传感器识别人类行为。预先学习的家具类型模型活动最终决定家具类型。因此，基于语义地图的家具识别的高层次解释是可以实现的，例如“这间房子是办公室”。鉴于学习家具类型，家具类型的模型活动的先验知识可以进一步提高，反过来，又可以提高行为识别的准确性。 图1 人类行为识别的语义映射 本文以下部分，安排如下：第一部分接下来将讨论这方面的相关工作。第二部分将介绍在我们的研究中，机器人的设置。第三部分将介绍基于可穿戴式传感器的人类行为识别。第四部分将说明所提出方法的语义映射。第五部分将介绍虚拟和真实世界的实验。第六部分将给出实验结论。 B.相关工作 机器人地图中语义信息的重要性已经被承认很久[6],[7]。近些年来，研究人员一直在开发机器人系统，这种系统可以获取并使用语义信息[8]。其中一些经过与受测人的语言互动获取语义信息[9]。其中一些受限于表面元素的分类，如天花板、地板等[10]。在文献[11]和[12]中，室内一些详细的地址，通过识别他们中的关键部位来贴上标签，这是通过能够从图片中提取必要信息的计算机技术实现的。Jebari等人利用全景相机通过对象识别来提取高层次的信息[13]。其他研究人员专注于如何创建一个多层次的语义映射[14],[15],[16]。如果环境中有多个房间，他们的想法是有意义的。在其他工作中，研究人员从三维模型的识别中获取语义信息。Nuchter等人开发了一种从三维模型中获取语义信息的方法，这种三维模型是通过放置在机器人身上的激光扫描仪建立的[17]。Nielsen等人使用快照技术将二维物体混合到三维物体上[18]。所有的这些基于视觉的方法都受到计算成本高、背景噪声和难于分割的限制。通过人类与周围环境的互动，本文提出一种获取语义信息的更高