基于hmm的手势动作识别-基地物理-兰州大学.pdfVIP

《基地物理》 2017 年第 10 期 基于HMM 的手势动作识别 1 2 孙皓宇 ，周赛彬 （1．物理科学与技术学院 13 级物理基地班二班，甘肃 兰州 730000；2. 物理科学与技术 学院13 级物理学基地班一班，甘肃 兰州 730000） 摘 要： 我们首先对手势动作建立一套识别方法，以手的特征部位作为标记点，在手势动作中标 记点的运动形成一组轨迹，我们识别出每一个标记点的轨迹的意义，最终组合在一起成为手 势动作的含义。对于一段轨迹，我们使用OpenCV 处理视频，每隔一段时间抓取一帧中特 征点的像素位置，并拟合出方向矢量。最终使用隐马尔科夫模型训练出状态序列，达到识别 的目的。实验对于单个轨迹的识别取得了不错的实验结果。 关键词：HMM 计算机视觉 手势识别 手势动作 1 引 言 当今世界上约有聋哑人一亿两千万，仅在中国就有两千万人，聋哑人之间可以用手语进 行交流沟通，但是他们与健听的人之间却往往难以沟通。为了实现聋哑人与健听者流畅沟通， 很长一段时间来，有许多的科研团队在这上面钻研，主要内容有图像识别和语音文字之间的 相互转换，而图像的采集与识别更是其中的难点错误！未找到引用源。。 手势识别是一种人机交互技术，早期通过一定的传感器等设备来进行手势的提取，但是 依赖一定的专业设备具有局限性，难以推广普及。对于聋哑人而言，虽然使用专业的设备已 经可以较为准确地将手势与语音之间进行转换，但是并不比他们当前的交流方法方便。 关于手势识别，国内外也多有研究，但是根据我们总结，大多数都是对简单的大幅度动 作 （人的肢体大小尺度）进行识别，这样可以较为准确的获取动作特征，并应用于一定的交 [2-3] 互，比如基于深度摄像，比如微软用于Xbox 360 的体感外设3D 摄像机Kinect 可以获取 深度信息，应用于许多游戏的操控。但是大幅度的动作不能包含太多细节。 对于小幅度的动作（人的手指大小尺度），普遍使用带有传感器的手套来获取动作信息， [4-5] 在手套上加有陀螺仪和加速度计等传感器 。戴上这样的手套来做一定的手势或者手语动 作，手套会采集动作信息并将其传送至电脑程序进行识别或者进一步转换。但是距离应用到 聋哑人与健听人的无障碍交流，还有很长的路。 [6-7] 许多对于不依赖外部设备的研究，则需要在抓取关键点，优化算法等方面进行努力 。 抓取的特征点大多是角点，或者是视频中的时空兴趣点，然后通过跟踪特征点得到其运动信 息与模式，或者进而分解复杂手势，得到手势或者一些列手势组合，通过一定的模型进行识 别。我们希望在计算机视觉领域做到对手势的特征的准确抓取，希望能够达到不依赖任何设 备或者特征标记，只根据对手势动作的录入。我们使用OpenCV 录入视频并处理错误！未找到引用源。， [8-9] 进一步使用隐马尔科夫模型 进行处理，达到识别以及转换的目的。 2 实验方法 2.1隐马尔科夫模型 （HiddenMarkov Model）介绍： 马尔科夫链是状态和时间参数都离散的特殊的马尔科夫过程，该过程定义为：对随机序 X t q(t) q(tk) 列 ，在任意时刻 ，它处于一个状态 ，且它在t k 时刻所处的状态 的概率 t t q(t) t X 只与它在 时刻的状态 有关，而与 时刻以前的状态无关，则称随机序列 是马尔科