基于深度图像与骨骼数据的行为识别.docVIP

基于深度图像与骨骼数据的行为识别 　　摘 要：为了充分利用深度图像与骨骼数据进行人体行为识别， 提出了一种基于深度图形与骨骼数据的多特征行为识别方法。该算法的多特征包括深度运动图（DMM）特征与四方形骨骼特征（Quad）。深度图像方面， 将深度图像投影到一个笛卡尔坐标系的三个平面获得深度运动图特征。骨骼数据方面， 提出四方形骨骼特征， 它是骨骼坐标的一种标定方式， 得到的结果只与骨骼姿态有关。同时提出一种多模型概率投票的分类策略， 减小了噪声数据对分类结果的影响。所提方法在MSR-Action3D和DHA数据库进行实验， 实验结果表明， 所提算法有着较高的识别率与良好的鲁棒性。 　　关键词：深度图像；骨骼数据；行为识别；深度运动图；四方形骨骼特征 　　中图分类号：TP391.4 　　文献标志码：A 　　文章编号：1001-9081（2016）11-2979-06 　　0 引言 　　行为识别是计算机视觉与模式匹配中的一个热门问题， 每天人们都会遇到许多潜在的人机交互。尽管这些年许多学者对行为识别做了许多卓越的贡献， 识别人类行为仍然是一个巨大的挑战。 　　早期的行为识别主要对视频进行处理。随着图像技术与硬件的发展， 利用微软Kinect或华硕Xtion等设备， 学者可以实时获取人体的深度图像信息。与传统的图像相比， 深度图像不受光照影响， 能够提供三维空间信息。利用深度图像， 学者们对行为识别做了许多研究， 例如文献[1-3]； 同时， 深度摄像头设备通过对深度数据的处理， 提取出了人体的骨骼特征[4]， 为行为识别提供的重要的行为特征。 　　本文提出一种基于深度运动图数据与骨骼数据的融合识别方法。通过深度摄像头（RGB-Depth， RGBD）可以获取一个行为的一系列深度图像。将这一系列的深度图在3个视图方向（前视图、左视图、俯视图）上投影获取深度运动图， 并对得到的深度运动图进行局部二值模式（Local Binary Pattern， LBP）预处理， 只获取其纹理信息；同时对骨骼数据进行四方形坐标标定，利用Fisher对得到的骨骼数据进行预处理； 最后将得到的深度运动图与骨骼特征输入到一个基于支持向量机（Support Vector Machine， SVM）的多模型概率投票的分类器中。本文在行为识别方面有2点贡献：1）将深度图像信息与骨骼信息结合作为行为的数据特征；2）提出了基于SVM的多模型概率投票机制， 很大程度上克服了噪声数据对模型的影响， 提高了识别率， 具有一定的鲁棒性。 　　对于传统的彩色摄像头采集的图像， 学者们大多利用其时空特征与轨迹进行行为识别：文献[5]利用时空点与SVM配合识别人体行为；文献[6]利用尺度不变的轨迹作为特征， 在3层的抽象等级上识别行为；文献[7]提出了在视频序列中提取运动能量图（Motion Energy Image， MEI）和运动历史图（Motion History Image， MHI）作为行为特征。使用图像强图或者颜色的一个主要缺点使其对光照变化敏感，限制了算法的鲁棒性。蔡加欣等[8]对人体轮廓进行研究， 基于随机森林方法， 提出基于袋外数据误差加权投票准则的行为视频分类方法。 　　随着RGBD摄像头的发展， 学者们已经提出许多基于深度图像的行为识别算法： 文献[9]利用金字塔模型与3D点的词袋模型作为行为姿态的行为特征； 文献[10]将深度图像投影到3个正交的平面上形成深度运动图（Depth Motion Map， DMM）， 然后用提取其梯度直方图（Histogram Of Gradient， HOG）作为行为的特征； 文献[11]从深度视频中提取随机占用模式（Random Occupancy Pattern， ROP）特征， 并用稀疏编码技术进行重新编码； 郑胤等[12]介绍了深度学习及其目标和行为识别中的新进展。 　　随着对深度图像进一步的处理， 学者们提取出其中高层次的骨骼信息， 基于骨骼信息的算法可以更加直接地描述人体行为： 文献[1]将人体定位到3D空间箱子模型， 提取人体的3D骨骼点直方图（Histogram Of 3D Joint， HOJ3D）作为行为特征； 文献[13]提出从人体骨骼节点的拓扑结构中选取最有子集来提高识别率； 文献[14]提出了一种生物启发的三维骨骼特征的时空层次结构； 文献[2]使用朴素贝叶斯近邻分类器识别人体骨骼特征点的静态与动态信息。 　　与传统单一的特征数据模型相比， 多特征有着良好的优势。文献[15]提出了跨数据模型的融合实验， 在IXMAS（INRIA Xmas Motion Acquisition Sequences）等数据库做了实验。在大数据环境下， 多特征协同识别成为人体行为识别趋势。