基于结构光源的大屏幕交互技术pdf.pdfVIP

和谐人机环境 2008 基于结构光源的大屏幕交互技术 秦永强 喻纯 史元春 清华大学计算机科学与技术系 普适计算教育部重点实验室，北京 100084 摘 要：本文针对传统的激光笔交互技术中存在的交互语义少等方面的问题进行了研究。我们 提出在激光笔上采用结构光源以充分表达用户手部运动的想法，设计了结构光源和识别软件， 从采集、滤波后的连续光点序列中提取出光点运动轨迹和用户手势的旋转信息，通过搜索光点 位置序列中的平坦区段锁定目标位置，并将旋转手势解释成交互原语以扩充激光笔的交互语 义。我们还依照 Fitts 律设计了交互任务，进行了用户体验测试，性能评价结果表明，基于结 构光源的大屏幕交互技术相对于传统的激光笔交互在丰富交互语义和加速目标选择方面都有 着较大的改进。 关键词：结构光源；旋转手势；平坦区段；用户体验测试 1．引言 1 在基于激光笔的大屏幕交互技术中，一般采用一个摄像机实时拍摄大屏幕，检测出激 光笔投射到大屏幕上的光点位置以引导光标，并根据激光点的轨迹定制交互语义，从而实 现通过激光笔直接操控大屏幕内容的目的，但传统的激光笔交互技术存在着交互语义少的 缺陷：传统的激光笔只有一个激光点，只能表示平移和指向等简单的操作，表达较为复杂 的交互语义时，只能通过绘制一定路径的图形、或者通过光点驻停在目标位置一定时间和 在激光笔上安装按键的方式来实现，但是这种交互方式比较复杂，用户难以掌握，而且前 两种方式触发交互命令的时间也较长。 为此，Sergey V. Matveyev 等人的研究中[1,2]提到了利用多个激光点进行交互的想法。 但是，他们是利用激光点排列形状的变化来表达交互信息，而光点排列形状的变化是靠用 户手按激光笔上的按键触发机械装置来实现，不能完全利用手部自然运动来进行交互。 我们分析一下人手部可能的运动：手部除了可以绕腕关节摆动外，还可以以前臂为轴 转动。传统的激光笔只能表达手部绕腕关节的摆动（反映到屏幕上是二维平面上的光点位 置变化），而无法表示手部绕前臂为轴的旋转 （表现在屏幕上是单个激光点绕自身中心的旋 转）。具有固定排列形状的光点组可以清楚地表达出这种手部的旋转运动(表现为光点组绕 其中心有旋转角度，即 Rotate 分量) 。本文提出的利用结构光源进行交互的方法能够充分利 用用户的手势来表达交互信息，将手势原语映射为命令原语，并搜索光点位置序列中的平 坦区段以确定目标位置，从而实现快捷自然的人机交互。 资助项目：863“支持多用户共享的多模态交互模型与关键技术”（2006AA01Z131 ） 联系作者：秦永强，E-mail ：qinyongqiang@ 248 Ⅱ 多媒体系统 2. 结构光源的设计 为了保证结构光源具有更好的扩展性(例如可根据大屏幕上的光点位置求解用户所在 的空间位置等信息) ，必须要对结构光源的构造进行分析：两个激光点能表达的信息量有限 (只能表示手势中的旋转运动、光点移动)，结构光源上应该配备的激光头数目要多于两个； 而为了便于计算，激光点的数目又不能过多，否则会信息冗余。 最终我们设计的结构光源的激光头的数目是 4 个，激光头组的 3D 构造和投射到大屏 幕上的光点分布如图 1 所示，外围三个激光头均与中心激光头有固定的夹角，所以用户到 大屏幕的距离变化时光点间的距离也会随之变化。实验用的结构光源笔实物如图 2 所示(尺 寸：25mm ×25mm ×150mm；质量：110g)。 图 1 激光头组的 3D 模型和光点分布 图2 结构光源实物图 3. 获取光点信号 结构光源是本文中实现激光笔交互的硬件基础，而准确地获取光点信号则是交互的前 提。提取图像中激光点的经典算法是差分图像法[4,5] ：将当前帧的图像与背景图做差值并去 噪后，灰度值大于指定阈值的区域就是激光点。 取每个光点区域的质心作为光点的坐标，跟踪连续帧的中心激光点位置可获得激光点 的运动轨迹( 图3)；同时，当用户的手绕前臂为轴旋转时，激光点组也会表现出相应的旋转， 累加外围三个激光点相对于中心激光点