《时空域深度卷积神经网络及其在行为识别上的应用》.pdfVIP

第 42卷 第 7期 计 算 机 科 学 Vo1．42No．7 2015年 7月 Computer Science July2015 时空域深度卷积神经网络及其在行为识别上的应用 刘 琮 许维胜 吴启迪 (同济大学电子与信息工程学院 上海 201804) 摘 要 近年来深度卷积神经网络在静态图像识别上取得 了较大进展 ，但在行为视频上建模运动信息的能力较弱。 但是，运动信息是行为识别区别于静态图像识别的关键 。基于滤波器响应积提 出了时空域深度卷积神经网络 。该网 络先将相邻帧对应的卷积核分为两组，近似地形成傅里叶基函数对，后续的乘法层将不同帧产生的响应两两相乘后再 输入加法层求和，从而将相邻帧映射到变换矩阵的特征值对应的不变子空间上，依靠相邻帧在不变子空间上的旋转角 度检测它们之间的运动特征。理论分析证明，网络既对运动敏感，又对 内容敏感。实验表明，该网络能对行为视频做 出更准确的分类，并与近年出现的其他 6种算法进行比较 ，结果体现了本算法的优越性。 关键词 时空域 ，卷积神经网络，深度学习，动作特征 ，行为识别 中图法分类号 TP301 文献标识码 A DOI 10．11896／j．issn．1002—137)(．2015．7．052 SpatiotemporalConvolutionalNeuralNetworksanditsApplicationinActionRecognition LIUCong XU Wei-sheng WU Qi-di (SchoolofElectronicsandInformationEngineering，TongjiUniversity，Shanghai201804，China) A~tmct Thekeythingthatdistinguishesactionrecognitionfrom otherrecognitiontasksistOencodemotionexplicit— ly．But，SOfar，mostworksbasedonconvolutionalneuralnetworks(CNN)cannotproperlyhandlethespatiotemporal interactioninvideo．W edevelopedaspatiotemporal—CNN thatexplicitlyexploitsthisimportantcueprovidedbyvideo． Insteadofsummingfilterresponses，responsesaremultipliedandourapproachisbasedonthat．Specifically，thespatio— temporal—CNN dividesconvolutionalkernelsintotwogroupsformingsinusoidalsofFourierTransform．Then，there— sponsesofconvolutionalkernelsaremultipliedbymultiplicativelayerascalculatingcovarianceandtheoutputsareput intosum layer．Inthisway，theinputsandadjacentframesaremappedintothesubspacesspannedbytheeigenvectors， andthespecialgeometrictransfomr ationsormotionfeaturescanbecheckedbytherotatinganglesinthatspace．Addi— tionaltheoreticalanalysis