显示表面上基于双摄像机双笔同时定位.pdfVIP

显示表面上基于双摄像机的双笔同时定位∗ 陈孝杰, 史元春, 龚 伟 (清华大学 计算机科学与技术系,北京 100084) 摘 要: 本文的工作是在摄像机与笔触表面平行的笔运动跟踪系统中，设计了一个 基于卡尔曼滤波的预测算法，实现了从双摄像头获取的图像中实时定位两支笔的识别功 能。基本原理是为系统建立状态模型，使用卡尔曼滤波器对每支使用中的笔进行状态预 测，根据预测结果寻找摄像头图像中笔成像的中心点，通过三角关系确定笔的坐标。实 验证明，这种算法简单实用，使系统能够同时跟踪两支笔运动并准确提供坐标。 关键词: 双摄像机;卡尔曼滤波;同时定位 1 引言 在教学和会议中，为了更好地表达自己的思想和与他人进行沟通，人们需要能书写 并显示的交互设备，传统媒介包括黑板、纸张等。随着信息技术的发展，计算机支持的 多媒体大屏幕投影逐渐取代了传统的黑板，成为教学和会议主流。但是大屏幕只能用于 显示信息，如果要对显示内容进行标注或是操作，还只能借助于鼠标和键盘。鼠标键盘 的使用会分散用户和听众的注意力，影响工作效率。触摸技术的开发和应用可使用户用 手指或特制的笔直接在显示设备上操作或书写。然而现有触摸技术也存在一定的缺陷： 常见的触摸技术需要特定的材料支持，因此不能有效适应交互平面的尺寸变化，材料的 透明度也会影响背投应用中的显示效果。同时传统的触摸技术往往只支持单个用户，而 不允许多个用户同时使用，不能很好满足教学和会议中需要多人同时参与的应用需求。 为了克服现有触摸技术面临的困难，我们研制了基于双摄像机的笔运动跟踪系统。 系统利用放置于显示平面两个顶角的摄像机获取图像，通过图像处理提取笔成像的中心 点，然后使用三角定位法和坐标变换计算得到笔的坐标位置，实现对一支笔运动的实时 跟踪。在此基础上，我们对系统进行了改进，目的是能同时支持两支笔的使用，以增强 协同工作的效果。我们为此设计了一个基于卡尔曼滤波[3][4]的预测算法，通过建立系 统状态模型并用卡尔曼滤波器对每支使用中的笔进行状态预测，根据预测结果查找各支 笔对应的图像中心点，从而实现对两支笔运动的同时跟踪定位，以进一步实现区别显示 两个人的手绘笔迹。双笔跟踪的研究为显示表面上多用户同时交互打下基础，类似的算 法也可以应用于激光笔交互系统[7]中的双笔交互。 * 本项目由新世纪优秀人才支持计划资助，NCET-04-0079 。 * 联系作者Email: chen-xj@ 2 双摄像头物体定位的基本原理 日常生活中，人们用双眼观察物体，物体在两个眼睛中各成一个像，远近不同或是 方位不同的物体在眼睛中成像的位置不同，人们可以根据物体的成像位置推断出物体的 远近方位，也就是可以确定物体的位置。 为了实现二维平面上物体的定位，我们可以依据人眼视觉定位的原理，在平面上安 装两个摄像头，模拟人的两个眼睛。两个摄像头的光轴平行于安装平面且相交于空间中 的某一点，如果使用的是线阵摄像头这样就形成了一个平行于安装平面的扫描平面，如 果使用的是面阵摄像头取其中的一行或几行象素点也可以形成扫描平面。只要在两个摄 像头的视场交汇区中，任何穿过扫描平面的物体都会在两个摄像头上成像，物体位置不 同成像的位置也不同。我们就可以通过物体在两个摄像头上的成像位置得到物体在平面 上的实际位置，这是常见的双目交互测量技术[1][2]。 图1 双摄像头物体定位原理图 如图1 中所示在平面直角坐标系中，一个摄像头（CCD1 ）中心点S 位于坐标系的 1 原点O，主光轴PS 与x 轴正方向所成的角度为α ，另一摄像头（CCD2 ）中心点S 位 1 0 2 于x 轴正半轴上，主光轴PS 与x 轴负方向所成的角度为β 。两个摄像头中心点之间 2 0 的距离S S d ，两条主光轴PS 和PS 相交于平面上