3D CNNs与LSTMs在行为识别中的组合及其应用.pdfVIP

·28·《测控技术12017年第36卷第2期

3DCNNs与LSTMs在行为识别中的组合及其应用

秦阳，莫凌飞，郭文科，李钒

(东南大学仪器科学与工程学院，江苏南京210096)

摘要：基于机器视觉的人体运动识别在视频监控、虚拟现实、医疗护理等诸多领域发挥着重要的作用。

结合深度学习中的三维卷积神经网络和长短期记忆神经网络，提出一种融合模型，并与另外两种行为识

别模型——长效递归卷积网络和时空域卷积网络，进行了对比，利用公开的KTH数据集，进行了实验测

试。实验表明，提出的融合模型与长效递归卷积网络和时空域卷积网络相比，对于人体行为图像或视频

数据集的学习效果明显，论证了模型的泛化性能和鲁棒性。

关键词：行为识别；深度学习；神经网络；模式识别

中图分类号：TP183文献标识码：A文章编号：1000—8829(2017)02—0028—05

Combinationof3DCNNsandLSTMsandItsApplication

InActivityRecognition

QINYang，MOLing—fei，GUOWen—ke，LIFan

(SchoolofInstrumentScienceandEngineering，SoutheastUniversity，Naming210096，China)

Abstract：Humanactivityrecognitionbasedonmachinevisionplaysanimportantroleinmanyfieldssuchas

videomonitoring，virtualreality，medicalcareandSOon．Anewfusionmodelisproposedbycombiningthe3D

convolutionalneuralnetworksandlongshorttermmemoryneuralnetworkindeeplearning，andcomparedwith

theothertwoactivityrecognitionmodels，long—termrecurrentconvolutionnetworkandspatiotemporalconvolu—

tionalneuralnetwork．TestexperimentsusingpublicKTHdatahavebeendonetoprovethatthecombination

modelhasabetterlearningeffectbasedonhumanactivityimageorvideodataset，whichdemonstratesthegen—

eralizationperformanceandrobustnessofthemode1．

Keywords：activityrecognition；deeplearning；neuralnetworks；patternrecognition

人体行为识别在医疗、教育、安全等方面有着重要逐渐抽象出上层特征，在静态图像识别领域中取得惊

的研究意义。随着视频记录的推广，基于机器视觉的人的识别效果。

人类行为识别方法更具有普适性。Davis等人认为只凭借单帧的静态图像无法识别

传统的行为识别方式集中于选择人体行为的特征人类行为，应将各帧的图像连接成运动图像序列，才能

量。但是，不同的任务环境下人工选择的特征量具有充分提取视频中的行为信息¨。ElbassuoniS等人将

差异，模型参数不具备泛化性能。近几年，随着深度学CNN模型拓展到三维，即空间域的二维和时间域的一

习模型的发展，分层抽象的特征提取方式替代了人工维，利用三维卷积神经网络，分析帧图像之间时空域关