IntelRealSense技术与自然人机交互.PDF

第1 章 Intel RealSense 技术与自然人机交互 1.1　自然人机交互 “那些不为人所察觉的技术，影响最为深远。” “它们与人类的日常生活融为一体，不分你我。” ——Mark Weiser ，1952—1999 自从1946 年世界上第一台数字计算机诞生，计算机已成为人们工作、生活中离不开的 高级工具。人们将计算机广泛用于计算、控制、监测、办公、娱乐等领域。除了计算、存 储、通信等工作任务，人与计算机间的交互方式也一直在改变，甚至引领相关技术的发展。 早期的计算机系统以命令行界面为主要输入/ 输出手段，专业的程序员与计算机间通过 命令语言、键盘进行交互，了解运算过程及结果。 到了20 世纪60 年代，美国的Sutherland 发明了菜单、窗口、图标，并采用光笔绘图。 Engelbart 在 1963 年发明了鼠标。20 世纪70 年代，施乐公司在Alto 计算机上开发了图形显 示技术。之后，Apple 公司开发了基于鼠标和图形界面的Macintosh 计算机。此后，人机交 互开始进入了图形用户界面阶段。 为计算机增加传感手段，使其能够像人一样感知周围的环境、用户的反应等，并能像 人一样与用户自然地交流，一直是人们追求的目标。VPL 公司在 1982 年开发了用于手势 输入的数据手套。手写识别、语音识别、光笔交互等技术也已日趋成熟。近年来，微软的 Kinect 、LeapMotion 3D 摄像头、谷歌眼镜等更加自然的交互手段先后推出，虚拟现实、增 强现实技术也逐渐投入使用，原来那些在科幻电影中的镜头已日益成为现实。 1.2　Intel RealSense 技术 Intel RealSense 技术是Intel 公司于2012 年开发的、用于自然人机交互的技术，是在深 入剖析从人类传感到交互的实现过程基础上，为计算设备添加“类人”感官而进行的技术创 新。人类参与交互的部位包括眼、耳、手、嘴等，如图 1-1 所示。 2　RealSense 互动开发实战 人类感知世界主要以眼和耳为输入器官，通过对视觉、声音的获取，并经过人类大脑 的相关感知区域识别、处理，最终形成人对外界事物 的认知与判断。其中，人类大脑就是中央处理器，在 眼、耳感官基础上进行手势、表情、自然语言分析等 复杂的认知。计算设备类似人类大脑，Intel RealSense 技术的核心就是为计算设备添加视觉、听觉等“类人” 感官的硬件及软件库，使计算设备能够像人一样对外 界进行反应，与外界交互。 在感知硬件中，视觉传感器是信息量最大的输入 手段。视觉传感器从最初的几十万像素已经逐步发展 到高清、超高清。但传统视觉传感器所提供的2D 图 像与真实世界中的景象与物体还是有很大差异的。用 普通摄像头拍照或录像，只能把真实世界的景象投影 图1-1　人类参与交互的部位 到2D 平面。这样2D 平面图像就缺失了真实世界的 深度信息，使其身临其境感大打折扣，如图 1-2 所示。人眼是通过双眼视差来获得深度信 息的。深度信息对于物体识别、运动估计等深层次视觉任务至关重要。Intel RealSense 摄 像头是3D 摄像头，利用红外成像技术在普通彩色摄像头的基础上提供了深度信息。Intel RealSense 摄像头不仅可以像微软Kinect 、LeapMotion 等设备那样作为独立设备使用，甚至 可以嵌入笔记本电脑、PAD 、手机等设备中，这就大大拓展了3D 摄像头的应用范围。Intel RealSense 3D 摄像头能实时提供彩色图像及其深度图，手部图像示例如图 1-3 所示。这样可 以轻松地把真实的3D 世界捕捉到数字的3D 世界，并且重现每个像素点的真实(x,y,z) 。可 以预见，RealSense 技术一定会占据重要的市场地位。 2D 图像[(H ，G ，B ) ，(x ，y )] 3D 世界[(R ，G ，B) ，(x ，y ，z)] 投影 图1-2　缺乏深度信息的2D 图像与真实世界的差异 1. Intel RealSense 3