利用深度视频中的关节运动信息研究人体行为识别.PDFVIP

第３４卷第２期　　　 计算机应用与软件 Ｖｏｌ３４Ｎｏ．２ ２０１７年２月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｆｅｂ．２０１７ 利用深度视频中的关节运动信息研究人体行为识别 刘　智　董世都 （重庆理工大学计算机科学与工程学院　重庆４０００５４） 摘　要　　由于计算开销大等原因，基于ＲＧＢ视频和人工特征的行为识别方法在近些年的研究进展比较缓慢。 相对于ＲＧＢ视频，深度视频能提取运动物体的几何结构信息，不会随着光线的变化而变化，因此在视频分割、行 为识别等视觉任务中比ＲＧＢ视频具有更好的区分性。以深度视频中的关节运动信息为基础，提出一种简单而有 效的人体行为识别方法。首先，根据深度视频中人体关节信息分别提取表示关节之间角度和相对位置的２个特 征向量，然后使用ＬＩＢＬＩＮＥＡＲ分类器分别对提取的２个特征向量进行分类识别，最后，通过融合其分类结果得到 最终的行为识别结果。该提取的特征仅包括关节间的相对位置和角度信息，不会因视角的变化而变化，具有一定 的视角不变性。实验结果表明，所提出方法在ＵＴＫｉｎｅｃｔＡｃｔｉｏｎ３Ｄ数据集上能够获得与当前最好方法一致的识别 效果，而且该方法具有很低的时间开销，实时性好。 关键词　　深度学习　人体行为识别　深度视频　关节信息 中图分类号　ＴＰ３　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１７．０２．０３３ ＳＴＵＤＹＯＦＨＵＭＡＮＡＣＴＩＯＮＲＥＣＯＧＮＩＴＩＯＮＢＹＵＳＩＮＧＳＫＥＬＥＴＯＮＭＯＴＩＯＮ ＩＮＦＯＲＭＡＴＩＯＮＩＮＤＥＰＴＨＶＩＤＥＯ ＬｉｕＺｈｉ　ＤｏｎｇＳｈｉｄｕ （ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＣｈｏｎｇｑｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｃｈｏｎｇｑｉｎｇ４０００５４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｄｕｅｔｏｈｉｇｈｃｏｍｐｕｔａｔｉｏｎｏｖｅｒｈｅａｄ，ｌｉｔｔｌｅｐｒｏｇｒｅｓｓｈａｓｂｅｅｎａｃｈｉｅｖｅｄｉｎｈｕｍａｎａｃｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎ（ＨＡＲ） ｂａｓｅｄｏｎｈａｎｄｃｒａｆｔｅｄｆｅａｔｕｒｅａｎｄＲＧＢｖｉｄｅｏｓｉｎｒｅｃｅｎｔｙｅａｒｓ．ＣｏｍｐａｒｅｄｗｉｔｈＲＧＢｖｉｄｅｏ，ｄｅｐｔｈｖｉｄｅｏｓｅｑｕｅｎｃｅｉｓａｂｌｅ ｔｏｅｘｔｒａｃｔｇｅｏｍｅｔｒｙｓｔｒｕｃｔｕｒａｌｉｎｆｏｒｍａｔｉｏｎｏｆａｎｉｍａｔｅｄｏｂｊｅｃｔｓ，ｉｔｉｓａｌｓｏｍｏｒｅｉｎｓｅｎｓｉｔｉｖｅｔｏｌｉｇｈｔｃｈａｎｇｅｓａｎｄｍｏｒｅ ｄｉｓｃｒｉｍｉｎａｔｉｖｅｉｎｍａｎｙｖｉｓｉｏｎｔａｓｋｓｓｕｃｈａｓｓｅｇｍｅｎｔａｔｉｏｎａｎｄａｃｔｉｖｉｔｙｒｅｃｏｇｎｉｔｉｏｎ．Ｔｈｕｓ，ａｎｅｆｆｅｃｔｉｖｅａｎｄｓｔｒａｉｇｈｔｆｏｒｗａｒｄ ＨＡＲｍｅｔｈｏｄｂｙｕｓｉｎｇｊｏｉｎｔｓｍｏｔｉｏｎｉｎｆｏｒｍａｔｉｏｎｏｆｔｈｅｄｅｐｔｈｓｅｑｕｅｎｃｅｉｓｐｒｏｐｏｓｅｄ．Ｆｉｒｓｔ，ｔｗｏｆｅａｔｕｒｅｖｅｃｔｏｒｓａｒｅ ｅｘｔｒａｃｔｅｄａｃｃｏｒｄｉｎｇｔｏｔｈｅｈｕｍａｎｊｏｉｎｔｓｉｎｆｏｒｍａｔｉｏｎｉｎｄｅｐｔｈｖｉｄｅｏｔｏｉｎｄｉｃａｔｅｔｈｅａｎｇｌｅａｎｄｐｏｓｉｔｉｏｎｉｎｆｏｒｍａｔｉｏｎａｍｏｎｇ ｊｏｉｎｔｓ．Ｔｈｅｎ，ｔｈｅｏｂｔａｉｎｅｄｖｅｃｔｏｒｓａｒｅｃｌａｓｓｉｆｉｅｄａｎｄｉｄｅｎｔｉｆｉｅｄｂｙｕｓｉｎｇＬｉｂｌｉｎｅａｒｃｌａｓｓｉｆｉｅｒ．Ｆｉｎａｌｌｙ，ｔｈｅａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎｒｅｓｕｌｔｉｓａｃｈｉｅｖｅｄｂｙｆｕｓｉｎｇｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｒｅｓｕｌｔｓ．Ｔｈｅｅｘｔｒａｃｔｅｄｆｅａｔｕｒｅｓａｒｅｖｉｅｗｉｎｖａｒｉａｎｔｂｅｃａｕｓｅｔｈｅ ｖｅｃｔｏｒｓｃｏｎｔａｉｎｏｎｌｙａｎｇｌｅａｎｄｒｅｌａｔｉｖｅｐｏｓｉｔｉｏｎｉｎｆｏｒｍａｔｉｏｎａｍｏｎｇｊｏｉｎｔｓ，ｔｈｅｙｋｅｅｐｔｈｅｓａｍｅｅｖｅｎｔｈｏｕｇｈｔｈｅａｎｇｌｅｏｆ ｖｉｅｗｉ