OpenNI介绍.docxVIP

一、OpenNI简介OpenNI，Open Natural Interaction开放式的自然交互，这种自然交互主要包括语音，手势和肢体动作等，也就是说希望能够不需要其他设备只需要直觉就可以控制一些应用设备。OpenNI本身定义了撰写自然操作程序所需要的API(Application Programming Interface，应用程序编程接口)，并且提供了一个多语言跨平台的framework（框架），进一步提供了一个标准的界面，可以借用OpenNI获取并分析得到的数据进行应用程序的开发。二、oenNI的框架这个可分为三层，最上层为应用层（application），是借用OpenNI获取的数据进行相应平台的开发使用，中间为OpenNI可提供的接口，它也说明了OpenNI可以完成哪些工作，底层则为硬件部分，主要包括了：3D Sensor，RGB Camera，IR Camera，Audio Device。现在OpenNI主要适用于开发Kinect应用程序（参与OpenNI开发的主要成员是PrimeSense公司，其提供了Kinect设备的核心芯片）。目前作为中间层的OpenNI，主要定义了四个元件：全身分析（Full Body Analysis）由传感器获取相关的数据，得知身体的相应的信息，如关节，相对位置和角度，以及质心等。手部分析（Hand Point Analysis）追踪手的位置手势检测（Gesture Detection）可以检测预先定义好的手势，目前可以识别的手势包括四种：举手（Raise Hand）、挥手（Wave Hand）、前推（Push Hand）和移动（Move Hand）。场景分析（Sense Analyzer）分析场景内的信息，如分离前景和背景，地板的坐标轴，辨识场景内的不同物体。目前PrimeSense已经提供了一套NITE作为OpenNI的中间层。三、（Node）在OpenNI里，使用Production Node来表示内部的基本单元，这也包括了硬件部分的感应器和OpenNI所提供的功能。主要分为以下几类1、感应器相关（Sensor Related）Production Node装置（Device）：代表具体装置的节点，用来做这些设备的设定。深度产生器（DepthGenerator）：产生深度信息图像（depth maps）的节点。图像产生器（ImageGenerator）：产生彩色图像（color image maps）的节点。红外图像产生器（IRGenerator）：产生红外图像（IR image maps）的节点。声音产生器（AudioGenerator）：产生声音流（audio stream）的节点。2、中间层相关（Middleware Related）Production Node手势通知感应器（Gesture Alert Generator）：当辨识特定的手势时，用于调用应用程序的callback函数。场景分析器（Scene Analyzer）：分析场景，包括分离前景与背景，识别场景内的不同物体，建立地板的坐标轴，侦测地板，其输出主要是标记过的深度信息图（labeled depth maps）。手部位置产生器（Hand Point Generator）：用于手部的侦测与追踪，当侦测到手部区域时，会产生一个通知信息。使用者产生器（User Generator）：产生一个3D场景中完整或局部的身体信息。3、录制/播放录制器（Recorder）：用于记录资料。播放器（Player）：读取记录下来的资料并播放出来。编解码器（Codec）：用于压缩，解压缩获取的数据。这些production node主要是由不同的组件各自实现的，如Kinect的驱动程序会提供深度和图像的Generator，中间层则是由不同的middleware各自提供，目前主要有NITE。对应于框架中的三层结构，感应器的production node处于最底层，中间层是使用感应器的数据做进一步的分析处理，因而其production node处于中间，而且在使用时会调用感应器的production node。通过使用这些production node，就可以透明的建立所谓的production chain（可以理解为数据处理通路），依此进行相应的数据处理，比如如果要产生一个使用者（User）的数据的话，就会透明的调用使用者产生器（User Generator），通过User Generator可以获取更低层的深度图像信息，即调用Depth Generator来获取，这样的一个节点序列，就是production chain四、能力（Capability）OpenNI的capality是用来增强中间层和底层感应器的弹性的，这些不同的c