基于时序提名的视频动作检测算法研究.pdfVIP

摘要

现如今视频已经成为信息的主要承载体，人们的日常生活、监控安防等方面每

时每刻都在产生庞大的视频信息，且大部分未经过裁剪。时序行为检测的核心任务

是在未修剪的视频中定位动作实例的时序节点，并对该动作实例进行分类，当前该

任务的瓶颈点主要在于如何得到更精准的定位结果，以高召回率的时序提名来得

到更准确的检测结果。论文基于二阶段策略，选择边界匹配网络为基础网络，研究

并改进了该提名生成网络，具体研究内容如下：

（1）针对动作片段时长不一的问题，论文采用两种方法来进行处理。第一种是

利用Inception模块来对网络卷积层进行改进，通过并联多个不同尺寸卷积层来增

大网络宽度，使得网络可以整合得到更完整的特征。第二种是论文引入时间金字塔

池化，在时序维度上设置尺寸不同的池化层，融合多个不同的时序感受野。

（2）针对时序边界，论文使用两个不同的方法来增强边界信息。第一种是使用

边界锐化机制，基于边界概率序列来得到边界分数，使用边界分数对特征序列进行

锐化操作。第二种则是引入类内一致性（Intra-phaseConsistency）损失，减小类内

的差异度，增大不同类别边界之间的差异度，以此来减弱时序节点模糊的影响。

（3）针对边界匹配网络仅利用局部信息的问题，论文使用全局注意力机制来整

合时序边界的全局上下文信息，得到了更精准的时序边界。同时论文采用Non-

Local结构的空间注意力模块在提名空间挖掘时序提名间的高级语义信息。

论文基于以上改进方法分别在ActivityNet1.3数据集上进行了实验，实验显示

以上方法均可以提升时序提名的召回率，其中注意力机制的引入提升是最多的。论

文使用召回率最高的时序提名最终在mAP@0.5指标上取得了51.09%的结果。

关键词：时序行为定位，时序提名生成，行为检测，注意力机制

ABSTRACT

Nowadays,videohasbecomethemaincarrierofinformation.Peoplesdailylife,

monitoringandsecurityaregeneratinghugevideoinformationallthetime,andmostof

themhavenotbeentrimmed.Thecoretaskoftemporalactiondetectionistolocatethe

temporalboundariesofactioninstancesintheuntrimmedvideo,andtoclassifytheaction

instances.Thecurrentbottleneckofthistaskliesinhowtoobtainmoreaccuratelocation

results.Withhigh-recall,algorithmscangetmoreaccuratedetectionresults.Basedonthe

two-stagestrategy,thesisselectstheboundarymatchingnetworkasthebasicnetwork,

andstudiestoimprovesthetemporalproposalgenerationnetwork.Thespecificresearch

contentsareasfollows:

(1)Fortheproblemofdifferentlengthsofactionclips,thesisadoptstwomethodsto

dealwithit.ThefirstistousetheInceptionmoduletoimprovethenetworkconvolutional

layer,andincreasethenetworkwidthbyparallelingmultipleconvolutionallayersof

differentsizes,sothatthenetworkcaninte