基于四元数时空卷积神经网络的人体行为识别.pdfVIP

第３８卷　第１１期 仪 器 仪 表 学 报 Ｖｏｌ３８Ｎｏ１１ ２０１７年１１月 ＣｈｉｎｅｓｅＪｏｕｒｎａｌｏｆＳｃｉｅｎｔｉｆｉｃＩｎｓｔｒｕｍｅｎｔ Ｎｏｖ．２０１７ 基于四元数时空卷积神经网络的人体行为识别 孟　勃，刘雪君，王晓霖 （东北电力大学信息工程学院　吉林　１３２０１２） 摘　要：传统卷积神经网络（ＣＮＮ）只适用于灰度图像或彩色图像分通道的特征提取，忽视了通道间的空间依赖性，破坏了真实 环境的颜色特征，从而影响人体行为识别的准确率。为了解决上述问题，提出一种基于四元数时空卷积神经网络（ＱＳＴＣＮＮ） 的人体行为识别方法。首先，采用码本算法预处理样本集所有图像，提取图像中人体运动的关键区域；然后将彩色图像的四元 数矩阵形式作为网络的输入，并将ＣＮＮ的空间卷积层扩展为四元数空间卷积层，将彩色图像的红、绿、蓝通道看作一个整体进 行动作空间特征的提取，并在时间卷积层提取相邻帧的动态信息；最后，比较ＱＳＴＣＮＮ、灰度单通道ＣＮＮ（ＧｒａｙＣＮＮ）和ＲＧＢ３ 通道ＣＮＮ（３ＣｈａｎｎｅｌＣＮＮ）３种方法的识别率。实验结果表明，所提方法优于其他流行方法，在Ｗｅｉｚｍａｎｎ和 ＵＣＦｓｐｏｒｔｓ数据集 分别取得了８５．３４％ 和８０．２％的识别率。 关键词：四元数；卷积神经网络；码本；人体行为识别 中图分类号：ＴＰ３９１．４　ＴＨ１６４　　　文献标识码：Ａ　　国家标准学科分类代码：５１０．４０５０ Ｈｕｍａｎｂｏｄｙａｃｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎｂａｓｅｄｏｎｑｕａｔｅｒｎｉｏｎｓｐａｔｉａｌｔｅｍｐｏｒａｌ ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ ＭｅｎｇＢｏ，ＬｉｕＸｕｅｊｕｎ，ＷａｎｇＸｉａｏｌｉｎ （ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＮｏｒｔｈｅａｓｔＥｌｅｃｔｒｉｃＰｏｗｅｒＵｎｉｖｅｒｓｉｔｙ，Ｊｉｌｉｎ１３２０１２，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：ＴｒａｄｉｔｉｏｎａｌＣＮＮｍｏｄｅｌｓａｒｅｓｕｉｔａｂｌｅｆｏｒｔｈｅｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｏｆｇｒａｙｉｍａｇｅｓｅｑｕｅｎｃｅｓｏｒｔｈｅｃｏｌｏｒｉｍａｇｅｓｅｐａｒａｔｅｃｈａｎｎｅｌｓ， ｗｈｉｃｈｉｇｎｏｒｅｓｔｈｅｉｎｔｅｒｄｅｐｅｎｄｅｎｃｙａｍｏｎｇｔｈｅｃｈａｎｎｅｌｓａｎｄｄｅｓｔｒｏｙｓｔｈｅｃｏｌｏｒｆｅａｔｕｒｅｓｏｆｒｅａｌｗｏｒｌｄｏｂｊｅｃｔｓ，ｔｈｅｒｅｂｙａｆｆｅｃｔｓｔｈｅａｃｃｕｒａｃｙ ｒａｔｅｏｆｈｕｍａｎｂｏｄｙａｃｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎ．Ｉｎｏｒｄｅｒｔｏｓｏｌｖｅｔｈｉｓｐｒｏｂｌｅｍ，ａｈｕｍａｎｂｏｄｙａｃｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎｍｅｔｈｏｄｉｓｐｒｏｐｏｓｅｄｂａｓｅｄｏｎ ｑｕａｔｅｒｎｉｏｎｓｐａｔｉａｌｔｅｍｐｏｒａｌｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ（ＱＳＴＣＮＮ）．Ｆｉｒｓｔｌｙ，ｃｏｄｅｂｏｏｋａｌｇｏｒｉｔｈｍｉｓａｄｏｐｔｅｄｔｏｐｒｏｃｅｓｓａｌｌｔｈｅｉｍａｇｅｓ ｉｎｔｈｅｓａｍｐｌｅｓｅｔａｎｄｅｘｔｒａｃｔｔｈｅｋｅｙｒｅｇｉｏｎｓｏｆｈｕｍａｎｂｏｄｙｍｏｔｉｏｎｉｎｔｈｅｉｍａｇｅｓ．Ｔｈｅｎ，ｔｈｅｑｕａｔｅｒｎｉｏｎｍａｔｒｉｘｅｘｐｒｅｓｓｉｏｎｏｆｔｈｅｃｏｌｏｒ ｉｍａｇｅｓｉｓｔａｋｅｎａｓｔｈｅｉｎｐｕｔｏｆｔｈｅＱＳＴＣＮＮ．ＴｈｅｓｐａｔｉａｌｃｏｎｖｏｌｕｔｉｏｎａｌｌａｙｅｒｏｆＣＮＮｉｓｅｘｐｅｎｄｅｄａｓａｑｕａｔｅｒｎｉｏｎｓｐａｔｉａｌｃｏｎｖｏｌｕｔｉｏｎａｌ ｌａｙｅｒ．Ｔｈｅｖａｌｕｅｓｏｆｔｈｅｒｅｄ，ｇｒｅｅｎ，ａｎｄｂｌｕｅｃｈａｎｎｅｌｓｏｆｔｈｅｃｏｌｏｒｉｍａｇｅｓａｒｅｃｏｎｓｉｄｅｒｅｄｓｉｍｕｌｔａｎｅｏｕｓｌｙａｓａｗｈｏｌｅｉｎａｓｐａｔｉａｌ ｃｏｎｖｏｌｕｔｉｏｎａｌｌａｙｅｒｔｏｃｏｎｄｕｃｔｔｈｅｅｘｔｒａｃｔｉｏｎｏｆｔｈｅａｃｔｉｏｎｓｐａｔｉａｌｆｅａｔｕｒｅｓ，ａｎｄａｖｏｉｄｔｈｅｌｏｓｓｏｆｓｐａｔｉａｌｒｅｌａｔｉｏｎ