基于深度学习的排球视频行为识别算法研究.pdfVIP

基于深度学习的排球视频行为识别算法研究 摘 要 人类行为识别是计算机视觉中一个重要的主题，行为识别既包括单人执行一系列动 作以完成某项任务，也包括许多人分散在一个大的空间里，共同努力完成一个共同的任 务，即群体行为。群体行为识别的一个典型的应用场景是体育视频理解，体育战术自动 分析等关键技术，具有重要的应用前景和商业价值。但由于背景杂乱、个体之间的关系 复杂等原因，使得面向体育视频的行为识别成为一个及其重要而又非常具有挑战性的问 题。 本文对体育运动排球视频的行为识别存在的问题进行了深入研究，并使用 TensorFlow 深度学习框架作为代码实现基础，分别从单人的时序信息和注意力机制提升 特征表示能力两个方面进行研究，其主要研究内容主要包括： 1）提出了一个基于ROI 的排球视频行为识别网络。该网络首先使用改进的全卷积 网络(MFCN)进行多级特征提取，应用深度全卷积网络(DFCN)对排球运动员的ROI 进 行初检测，再利用马尔科夫随机场(MRF)进行ROI 的微调以获得最终运动员们的ROI 集合；然后，从单人行为的时序信息入手，将目标运动员的ROI 时间序列进行时序推理， 得到单人行为的预测结果；最后使用ROI 匹配递归卷积网络进行群体行为的时序建模， 生成群体行为的预测结果。该网络不仅考虑到了群体内部时序信息的一致性，同时也考 虑到了个体时序信息的差异性。实验结果表明，该网络有效地增强了单人行为特征的判 别性和鲁棒性，提升了单人识别准确率，提升了群体行为识别准确率。 2）提出了一个基于双重注意力的排球视频群体行为识别网络。该网络中的双重注 意力由面向排球视频的空间注意力和通道注意力模型组成，通过空间注意力模型来获取 不同像素之间的关联信息，通道注意力模型用来建模特征图中各通道间的依赖性；将双 重注意力融合在排球视频的群体行为识别网络中，能够增强重要的特征信息，减弱无用 特征的干扰，提高网络对目标特征的表示能力。实验结果表明，该网络根据注意力权重 的不同分配动态地对特征进行对应处理，不仅考虑到了视频图像中不同像素之间的关联 信息，而且考虑了特征图中各通道间的依赖性，提升了特征的判别能力和表示能力，有 效提高了排球视频行为识别准确率。 I 基于深度学习的排球视频行为识别算法研究 关键词：群体行为识别；深度学习；注意力机制；时序推理 II ResearchonActionRecognitionAlgorithmofVolleyballVideoBasedonDeepLearning Abstract Humanactionrecognitionisanimportanttopicincomputervision.Actionrecognition includesnotonlyasinglepersonperformingaseriesofactionstocompleteacertaintask,but alsomanypeoplescatteredinalargespaceandworkingtogethertocompleteacommontask, that is, a group action.Atypical application scenario of group action recognition is sports videounderstanding,whichisakeytechnologyforautomaticanalysisofsportstactics,and has important application prospects and commercial value. However, due to cluttered backgroundsandcomplicatedrelationshipsbetweenindividuals,actionrecognitionforsports videohasbecomeaveryimportantandverychallengingproblem. In this paper, we condu