基于多层卷积神经网络特征和双向长短时记忆单元的行为识别.PDFVIP

第34 卷第6 期 控制 理 论 与 应 用 Vol. 34 No. 6 2017 年6 月 Control Theory Applications Jun. 2017 DOI: 10.7641/CTA.2017.60607 基基基于于于多多多层层层卷卷卷积积积神神神经经经网网网络络络特特特征征征和和和双双双向向向长长长短短短时时时记记记忆忆忆单单单元元元的的的行行行为为为识识识别别别 葛 瑞 , 王朝晖 , 徐 鑫 , 季 怡 , 刘纯平 , 龚声蓉 (1. 苏州大学计算机科学与技术学院, 江苏苏州215000; 2. 吉林大学符号计算与知识工程教育部重点实验室, 吉林长春130012; 3. 软件新技术与产业化协同创新中心, 江苏南京210046; 4. 常熟理工学院计算机科学与工程学院, 江苏常熟215500) 摘要: 鲁棒的视频行为识别由于其复杂性成为了一项极具挑战的任务. 如何有效提取鲁棒的时空特征成为解决问题 的关键. 在本文中, 提出使用双向长短时记忆单元(Bi--LSTM)作为主要框架去捕获视频序列的双向时空特征. 首先, 为 了增强特征表达, 使用多层的卷积神经网络特征代替传统的手工特征. 多层卷积特征融合了低层形状信息和高层语义信 息, 能够捕获丰富的空间信息. 然后, 将提取到的卷积特征输入Bi--LSTM, Bi--LSTM包含两个不同方向的LSTM层. 前 向层从前向后捕获视频演变, 后向层反方向建模视频演变. 最后两个方向的演变表达融合到Softmax 中, 得到最后的分 类结果. 在UCF101和HMDB51数据集上的实验结果显示本文的方法在行为识别上可以取得较好的性能. 关键词: 行为识别; 卷积神经网络; 递归神经网络; 双向递归神经网络 中图分类号: TP273 文献标识码: A Action recognition with hierarchical convolutional neural networks features and bi-directional long short-term memory model GE Rui , WANG Zhao-hui , XU Xin , JI Yi , LIU Chun-ping , GONG Sheng-rong ( 1. School of computer science and technolgoy, Soochow University, Suzhou Jiangsu 215000, China; 2. Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, J