光学多点触摸交互式桌面系统的设计与实现.docVIP

  光学多点触摸交互式桌面系统的设计与 实现 陈拴拴，廖海洋* 5 10 15 20 25 30 35 40 （重庆大学新型微纳器件与系统技术国家重点学科实验室，重庆 400030） 摘要：多点触控系统提供了一种自然的人机交互方式，大有无处不在的应用趋势。我们提出 并实现了一套基于光传感的多点触控系统，系统由微型投影仪，摄像头和红外光源构成，利 用计算机视觉的相关理论，对摄像头获取的交互区域图像进行处理，以检测手指触点的位置， 识别用户手势的含义。本文详细探索了该多点触控系统的结构以及软件实现方法，并对其中 用到的核心算法进行简单论述。原型机的实现结果和实验表明，该多点触摸系统简单实用， 能满足多数场景的应用需求，同时也为我们下一步改进系统提供了重要的反馈信息。 关键词：多点触控系统；散射表面照明；人机交互；多点触控软件；嵌入式系统 中图分类号：TP37 Design and implementation of Optical Multi-Touch interactive tabletop system Chen Shuanshuan, Liao Haiyang (chongqing university,National Key Laboratory of Fundamental Science of Micro/Nano-Device and system Technology, ChongQing 400030) Abstract: Multi-touch system provides a natural way of human-computer interaction and seems to be ubiquitous in near future. We present and implement a multi-touch system, based on optical or light sensing. The system is composed of micro-projector, camera and infrared light source, which process the image of interactive surface captured by the camera with computer vision related theory, to detect finger touch point and recognition the meaning of users’ gestures. This paper explores the architecture and software implementation of multi-touch system in detail, and discusses the key algorithm employed in the software. Success of the prototype and experiments indicate that our multi-touch system is easy of setup and effective, which can meet the demand of most application, and provide important feedback information for us to improve multi-touch system in the future work. Keywords: multi-touch system; Laser Light Plane (LLP); human-computer interaction; multi-touch software; embedded system 0 引言 当前，实现人机自然交互的多点触摸技术是一个非常活跃的研究领域，这项技术的目标 是使用户能够通过手指触摸和手势与设备无缝地交互[1]。多点触摸系统的效果很大程度上取 决于系统表面的感知能力，操作接口以及用户和系统的交互机理[2]，这些多样化激发了开发 者对各种各样系统结构研究的积极性。基于视觉的多点触控系统作为能够检测除手指以外大 范围对象的几种技术中的一种出现了，大多数基于视觉的系统使用摄像头来获取多点触摸输 入信号，进而用图像处理的算法对采集图像进行处理，以检测触摸点信息；其中，借助光学 原理感知触摸输入的解决方案占据多点触摸系统的大部分比例，可扩展性，低成本和易于安 装是该方案受欢迎的内在原因，FTIR(Frustrated Total Internal Reflection),LLP(Laser Light Plane