基于时空流特征融合的俯视视角下奶牛跛行自动检测方法.pdf

2024年7月第6卷第4期智慧农业（中英文）SmartAgricultureJul.2024Vol.6,No.4

基于时空流特征融合的俯视视角下奶牛跛行自动检测方法

111，2111*1*

代昕，王军号，张翼，王鑫杰，李晏兴，戴百生，沈维政

（1.东北农业大学电气与信息学院，黑龙江哈尔滨150030，中国；2.黑龙江东方学院信息工程学院，

黑龙江哈尔滨150086，中国）

摘要：［［目的目的/意义意义］］奶牛跛行检测是规模化奶牛养殖过程中亟待解决的重要问题，现有方法的检测视角主要以

侧视为主。然而，侧视视角存在着难以消除的遮挡问题。本研究主要解决侧视视角下存在的遮挡问题。［［方法方法］］提

出一种基于时空流特征融合的俯视视角下奶牛跛行检测方法。首先，通过分析深度视频流中跛行奶牛在运动过程

中的位姿变化，构建空间流特征图像序列。通过分析跛行奶牛行走时躯体前进和左右摇摆的瞬时速度，利用光流

捕获奶牛运动的瞬时速度，构建时间流特征图像序列。将空间流与时间流特征图像组合构建时空流融合特征图像

序列。其次，利用卷积块注意力模块（ConvolutionalBlockAttentionModule,CBAM）改进PP-TSMv2（PaddlePad⁃

dle-TemporalShiftModulev2）视频动作分类网络，构建奶牛跛行检测模型Cow-TSM（Cow-TemporalShiftModule）。

最后，分别在不同输入模态、不同注意力机制、不同视频动作分类网络和现有方法4个方面对比，进行奶牛跛行

实验，以探究所提出方法的优劣性。［［结果和讨论结果和讨论］］共采集处理了180段奶牛图像序列数据，跛行奶牛与非跛行奶

牛视频段数比例为1∶1，所提出模型识别精度达到88.7%，模型大小为22M，离线推理时间为0.046s。与主流视

频动作分类模型TSM、PP-TSM、PP-TSMv2、SlowFast和TimesFormer模型相比，综合表现最好。同时，以时空流

融合特征图像作为输入时，识别精度分别比单时间模态与单空间模态分别提升12%与4.1%，证明本研究中模态融

合的有效性。通过与通道注意力（Squeeze-and-Excitation,SE）、卷积核注意力（SelectiveKernel,SK）、坐标注意力

（CoordinateAttention,CA）与CBAM不同注意力机制进行消融实验，证明利用CBAM注意力机制构建奶牛跛行检测

模型效果最佳。最后，与现有跛行检测方法进行对比，所提出的方法同时具有较好的性能和实用性。［［结论结论］］本研

究能够避免侧视视角下检测跛行奶牛时出现的遮挡问题，对于减少奶牛跛行发生率、提高牧场经济效益具有重要

意义，符合牧场规模化建设的需求。

关键词：奶牛跛行检测；时空融合；视频动作分类；深度图像；注意力机制；TSM

中图分类号：TP391文献标志码：A文章编号：SA202405025

引用格式：代昕,王军号,张翼,王鑫杰,李晏兴,戴百生,沈维政.基于时空流特征融合的俯视视角下奶牛跛行自动检

测方法[J].智慧农业(中英文),2024,6(4):18-28.DOI：10.12133/j.smartag.SA202405025

DAIXin,WANGJunhao,ZHANGYi,WANGXinjie,LIYanxing,DAIBaisheng,SHENWeizheng.AutomaticDetection

MethodofDairyCowLamenessfromTop-viewBasedontheFusionofSpatiotemporalStreamFeatures