6D动态手势识别.pptx

基于6D动态手势识别的特征处理和建模 作者： Mingyu Chen， Ghassan AlRegib, Biing-Hwang Juang题目：Feature Processing and Modeling for 6D Motion Gesture Recognition期刊： IEEE TRANSACTIONS ON MULTIMEDIA XXX 2017年12月10日星期日 主要内容： 文章中提到的6D的动态手势即是由3D的空间轨迹和扩展的三维方向表示出来。动作可以由直接的位置和方向表示，也可以由间接的加速度和角速度表示。本文主要做的内容是在依赖用户和不依赖用户两种情况下，研究了各种特征集（包含加速度和角速度）对动态手势识别相关的影响。 实验的过程中共用到两种方法，方法一：统计学基于特征的线性识别分类器。方法二：基于隐马尔科夫模型的非线性分类器。方法一作为基准，方法二是与方法一进行比较，实验结果表明，方法二有着更高的识别率和更好的性能。 实验流程图： 数据的采集： 用设备Worldviz PPT-X4作为光学传感器追踪手的位置，用设备Wiimote作为惯性传感器测加速度和角速度，频率是60HZ。本文一共定义了20个手势，招募了28个人（21个右手，7个左手），每个动作做10次，共有5600个手势样本。 手势采集示例： 特征点的表示： 加速度： 角速度： ，其中y代表yaw，即偏航角，围绕Y轴旋转；p代表pitch，即仰俯角，围绕X轴旋转；r代表roll，即翻滚角，围绕Z轴旋转。 位置偏移量： 位置偏移率： 方向： ，表示方法为四元数。 特征提取和识别： 这一部分本文用了两种方法：方法一，基于特征的统计线性分类。方法二，基于HMM的分类方法。 1.线性分类 特征提取：其中， 代表空间轨迹，令 ， ， 特征点提取： 代表手势的平均持续时间， 代表x，y，z的最大值、最小值、平均值和中间值； 代表边界体积的对角线； 代表XY平面开始角的正弦和余弦值。 代表XZ平面的正弦值； 代表XY平面第一个点到最后一个点的正弦和余弦值； 代表XZ平面第一个点到最后一个点的正弦值。 代表所有角的总和、绝对值的和、和平方的总和。 代表路线的总长度、最大的平方步距、第一个点和最后一个点之间的欧氏距离。 代表 的最大、最小、平均、和中间值。 代表 的最大、最小、中间值、和平均值。 以上特征点几乎没有涉及到时间信息，经过测试之后，发现有几个人手势是相互混淆的。明显时间序列是重要的。因此增加另外一些特殊的特征。 1、增加 的上半段、下半段、中间三分之一的平均值。 2、增加 的上半段的平均值。 3、增加 的上半段和下半段的平均值。 最终生成的分类器为： 基于隐马尔科夫分类 为了使分类器更加稳定，合适的特征标准化使非常重要的。其中对特征 直接进行线性缩放。 ，而缩放系数为： 而对于 来讲，加速度是有重力加速度和手动加速度组成的。对其进行标准化之前要将重力加速度分量去掉，过程如下： 然后线性缩放 ， ，其中 对于 的标准化使最麻烦的，因为四元数不能直接进行缩放。先将最初的方向设为单位四元数，然后将四元数转化为轴角表示： 其中 是对轴 做右手定则的旋转角。而标准化的过程如下： 其中 表示标准化后最大的旋转角，按照经验设置为0.5π。 实验过程及结果 对于基于隐马尔科夫分类来说，本文采用的是隐马尔科夫的HTK工具箱，对数据进行建模，训练和测试。 对于依赖用户的手势识别实验，本文随机从每一个用户的每一个手势用五个数据进行训练，用另外五个进行测试，重复试验50次。对于不依赖用户的实验，本文随机挑选五个右手用户的手势数据进行训练，然后对剩下的16个右手用户和7个左手用户进行测试。实验重复200次，求识别率的平均值。 特征的选取实验1： 标准化前和标准化后的对比测试，选取了P，V，O，A和W以及标准化以后的特征集作为测试特征。并选取了状态序列为4和8的两种测试。测试结果如下： 特征集的结合实验2： 下图是特征集相结合进行测试所得到的结果： 2D投影实验3： 本实验测试了从3D投影到2D的特征集对识别率的影响： 多高斯混合模型实验4 本实验是针对不同