《基于单摄像头的自然用户接口引擎开发》.pdfVIP

第27卷第1期 北方工业大学学报 V01．27No．1 CHINAUNIV．OFTECH． Mar．2015 2015年3月 J．NORTH 基于单摄像头的自然用户接口引擎开发* 宋 伟 于少波 黎佳雪 王辉柏 (北方工业大学计算机学院，100144，北京) 摘要 自然用户接口(NUI)通过自然且直观的操作方法实现了人机交互中的控制接口， 是人机交互手段研究的一个新兴的方向．本文利用廉价的网络摄像头作为NUI应用的信号输 入端，设计了一套基于单摄像头的NUI结构，并通过融合cuDA工具包和DirectX软件开发包 (SDK)，开发了实时的NUI引擎系统．引擎使用网络摄像头进行视频捕捉后，利用图形处理器 (GPu)编程方法实现实时的图形处理，并结合DirectXSDK展示NuI应用．为了检验所提出的 实时NuI引擎的性能，本文利用其开发了若干非触摸操作的混合现实游戏和应用，实验结果表 明本引擎实现了实时直观的交互式操作． 关键词 自然用户接口；人机交互；GPU编程；混合现实技术；无触摸操作；实时图像处理 分类号TP37 Interaction， 人机交互(HumanComputer 事先学习如何操作这些工具．这与自然用户接 简称HCI)是计算机操作系统的重要研究内 口的理念不相符合．自然用户接口应能够使用 容，目前，为了实现自然且便捷的人机操作，基 户免于受复杂设备的限制，并且给予用户便捷 于虚实融合的实时自然用户接口受到了多媒体 且自然的人机控制体验，其实现方法主要表现 使用者广泛青睐．为此，自然用户接口开发者提 在声音、人体和手势识别方面．而传统的NUI 出并研发了一些具有自然、直观等控制操作特 应用研究，使得自然用户操作显得“不自然”． 点的多媒体应用，如多点触摸操作、非触摸控 为了满足自然用户接口的实时和自然地操 制、声音控制、肢体动作控制等NUI应用．为了 作的功能要求，如何快速、准确地检测和识别用 提供自然且直观的虚实融合的操作接口，本文 户的自然输入信号是需要解决的关键技术问 开发了一个实时的基于单摄像头的NUl引擎． 题．近些年，一些特殊设备，如Kinect和Leap Motion，在获取视频图像、红外图像和声音后， 1 绪论 通过检测分析人体动作来识别人机交互输入信 号嘲．微软公司研发的Kinect主要由一个摄像 人机交互接口主要经历了3大阶段：命令 头、一个红外线发射器、一个红外线接收器和一 行接口，图形用户接口，以及自然用户接口 组麦克风组成口]，它提供的软件开发包(sDK) 能够实时地生成深度图片、人体轮廓和人体骨 (NUI)．在传统NUI产品的研发过程中，人机 交互的信号输入往往通过数据手套uj、颜色标 骼模型的关节坐标n]，从而实现了利用动作感 记以及游戏控制器来实现．然而穿戴这些工具 知方法，以非触摸方式对计算机应用进行控 限制了用户控制活动的自由度，而且用户需要 制口]．Kinect在高效地获取深度图像和彩色图 收稿日期：2014一09—12 +基金项目：201 方专项(PxM2014一014212一oO0097)、北方工业大学科研启动基金