手势识别VR交互技术.pdfVIP

人机交互技术

人机交互技术

手势识别技术

手势识别在VR中的重要性及其原因

虚拟现实是由计算机根据现实与想象空间生成的一种模拟环境，让用户具

有身临其境的沉浸感，通过各种交互行为刺激用户的视觉、触觉、听觉等感

知系统，从而建立全方位的感官体验。

目前，人们的体验常常受制于VR头显和不够自然的交互方式。相比之下，

手势识别能够在虚拟环境中，赋予人们贴近现实生活的手势导航和控制能力，

建立最直接的人机交互方式。

手势识别技术

将手势识别技术应用于虚拟现实

虚拟现实环境想要具备完全的沉浸感，就这意味着需要在计算机创造的空间内精确的模

拟现实世界中最细微的动作、振动及变化。这其中发挥首要作用的就是传感器技术。

它负责监测和记录人们运动的速度、方向甚至是最简单的垂直和水平位移状态。通过处

理这些实时的运动数据，结合复杂的计算机算法，VR系统才能重建出我们所熟知的世界。那

么，在这些大量的工作背后，手势识别具体经历了几个工作阶段呢？大致可分为以下四个：

数据采集或手势图像收集阶段

手势图像预处理阶段

图像追踪阶段

识别阶段

手势识别技术

手势识别需要的支持设备

为了能够使手势识别技术真正面向市场，还需要借助各种电子工具和输入

设备。从触觉、视觉和动作捕捉方面进行分类，可发现诸如，监测手指弯曲

程度的手套装备、测量加速度和旋转角度的传感器装置、以及利用深度感知

摄像机捕捉3D姿态的视觉处理设备。

表情识别流程

从研究的角度讲，表情识别是一种典型的模式识别问题。对于表情的识别，

通常我们是采用机器学习的方式先对表情数据进行训练，然后用训练好的分类器

或回归器对表情进行预测。本文将就表情识别的常规流程进行简述，总的来说表

情识的步骤及流程如下图所示：

模式分类/

图像输入人脸检测图像预处理特征提取识别结果

回归

表情识别流程

1图像输入:这里的输入图像在实际应用中通常是从视频中获得，如商店中的监

控视频。在我们的研究工作中，输入的图像来自一些公开的表情数据集，如JAFFE，

CK，NVIE，IMM，Recola，Semaine等。

2人脸检测:表情识别中我们的研究对象是人脸，但通常在第一步中的输入图像

中还包括了非人脸区域，所以我们需要使用人脸检测算法检测出我们感兴趣的人脸

区域。人脸检测本身也是一个很热的研究点，但在表情识别中，这不是重点。

3图像预处理:图像预处理的对象是第二步中得到的人脸图片。第二步中得到的

人脸区域中，它们的大小、长宽比例、光照条件通常是不一样的，所以为了后续提

取特征的统一处理，就需要将它们的尺寸、光照等进行归一化处理。

表情识别流程

4特征提取计算机跟人不一样，人能一眼识别出表情，这对计算机来说却很难做到。通常计

算机需要我们给它特征来区分不同的表情，所以我们应该选择区分度高的特征给计算机。这是表情识

别中很关键的一步，对于特征提取方法的选择，前后有很多学者尝试了很多不同的特征，如LBP，

Gabor,SIFT,DCT,FAP等等。特征可以分为纹理特征和几何特征，从另一个角度也可以分为全局特征

和局部特征。特征提取的好坏将直接影响后续的分类或回归结果。

5模式分类/回归该步骤是用机器学习算法对第四步得到的特征进行训练，训练完成后就会得到

一个分类器或者回归器。这一步骤也是表情识别中很关键的一步，通常我们总是希望得到的分类器或

回归器具有更好的预测能力，所以很多学者也尝试了用不同的机器学习算法来设计分类器，比较常见

有SVM，KNN，NN(NeuralNetwork)，HMM，SVR，RVM等等。

6识别结果最后一步就是对表情进行识别，具体来讲就是把经过前面几步提取到的表情特征

送入训练好的分类器或回归器，让分类器或回归器给出一个预测的值。表情识别中的重点和难点是

特征提取和模式分类/回归，已有的研究中的大部分创新基本上都集中在这两步，如特征提取中采用多

特征融合，预测时采用决策级融合等。

谢谢观看！