一种基于头部姿态分析注意力目标的概率推理模型 - 人机交互与媒体 .pdf

一种基于头部姿态分析注意力目标的概率推理模型 董力赓 陶霖密 徐光　 清华大学 计算机科学与技术系，普适计算教育部重点实验室，北京 100084 摘 要：本文提出了一种在智能厨房中基于头部姿态分析注意力目标的概率推理模型。在厨房 工作台前的墙壁上装有多个投影显示屏显示菜谱等相关信息，用户可能站在柜台前的多个地方 观看这些内容。我们的目标是识别出用户当前正在注视哪个显示屏，从而了解用户所感兴趣的 内容。本文提出了一种动态贝叶斯网模型来推理用户的注意力目标，该模型融合了多注意力目 标、多用户位置，多摄像机人脸图像等因素之间的关系并进行联合推理。我们通过人脸图像与 多个人脸类别的相似度向量对头部姿态进行度量而没有显式的计算具体的头部姿态值。我们在 智能厨房原型环境下采集了测试数据，实验结果表明我们的模型是有效的。 关键词：视觉注意力目标；动态贝叶斯网；智能厨房 1．引言 1 [1] 基于用户注意力的系统 在很多领域的人机交互中有所应用，其中视觉注意力目标 (Visual focus of attention, VFOA) 特指用户眼睛所注意的目标。在人机交互中，通过理解用 户视觉注意力目标，可以理解用户的兴趣或者意图，从而给用户提供相应的主动服务。本 文研究在智能厨房中如何推理用户的注意力目标。智能厨房是一个在厨房中安装了摄像头、 投影显示屏等设备并能够提供普适计算服务的智能空间。其工作台后的墙壁上装有多个投 影显示屏，上面可以显示菜谱、饭菜制作指南等相关信息。当用户准备做饭时，不同的显 示屏会显示不同的菜谱。用户浏览不同的菜谱后会仔细阅读其最感兴趣的菜谱。通过分析 用户长时间注视的目标，智能环境就可以知道其对哪个显示屏上的内容感兴趣，从而可以 提供主动服务，比如进一步在多个显示屏上显示该菜谱的详细制作步骤，给用户提供帮助。 视觉注意力与头部姿态和人眼视线方向有关。研究[2]表明，在很多情况下通过头部姿 态足以分析用户的注意力目标。因为用户并不习惯于长时间斜着眼睛盯着某个目标，而会 将头转过去正视该目标。此外，从应用的角度，智能厨房环境中采集到的图像分辨率较低， 所以精确估计人眼视线方向非常困难。因此本文采用头部姿态分析用户的注意力目标。智 能厨房环境中分析注意力目标需要考虑以下几个因素。第一，用户可能站在厨房工作台前 的多个地方，并观看多个投影显示屏。因此需要考虑用户和显示屏之间的位置关系。第二， 为了能够拍摄到用户在不同位置的图像，我们在墙上的屏幕之间安装了 3 个摄像机，他们 会拍摄到不同角度的用户人脸。因此需要考虑如何融合多摄像机的信息，而不是仅仅使用 单摄像机的信息。第三，因为用户的头部姿态可能包括正面和全侧面的姿态而不仅仅是接 近正面的姿态，所以需要跟踪大范围姿态变化的人脸并根据跟踪结果识别用户注意力目标。 资助项目：中国自然科学基金60873266） 联系作者：董力赓，E-mail ：dongligeng@ 267 人机交互学术会议 最近几年越来越多的研究者开始研究视觉注意力目标的识别问题。Stiefelhagen[3]等人 研究了在小型圆桌会议环境下用户的注意力目标识别问题，会议桌上放置了一个全方向的 摄像机。他们后来研究了在多个远距离摄像机环境下识别注意力目标的方法[4] 。S. Ba [5] 和 Otsuka [6]也研究了在不同会议环境下的注意力目标识别问题。然而，会议环境下用户主要 坐在固定的座位上，其身体并没有多少移动。K. Smith [7] 研究了户外环境下的注意力目标 识别问题，他们主要分析路过的行人是否观看了墙上的海报。然而他们的注意力目标只有 一个。Zhang [8] 等人也在户外环境下监控用户的注意力目标，但是他们的头部姿态范围仅 局限在接近正面的人脸姿态。这些工作主要处理固定位置下多注意力目标的分析，或者多 用户位置下单个注意力目标的分析。然而，我们的应用环境包括多用户位置和多注意力目 标。先前这些工作通常需要采用某些专门的方法来估计用户的头部姿态，包括基于 3D 模 型或者基于2D 表观模型的方法。