基于深度混合神经网络的视频检索方法研究.pdfVIP

摘要

摘要

5G

随着技术的到来，在日常生活中每天都会有大量的视频数据生成并上传到

互联网中，这给目标视频的搜索带来一定的困难。如何在短时间内从大规模的视

频数据库中高效准确地搜索出人们所需的目标视频已成为亟待解决的问题。

现大多数的视频检索方法往往会存在一些不足之处。它们或忽略了视频包含

的时间信息，使得在提取视频特征时存在时序信息特征不明显的问题；或将视频

的各帧都同等看待，没有充分考虑到各视频帧在表现视频内容时所起的作用是不

同的，从而造成学习到的视频特征包含着大量的重复性信息。本文针对以上的问

题，主要做了以下的工作，概括如下：

第一，本文将卷积神经网络和循环神经网络相结合组成一种端到端的深度混

合神经网络结构。该结构不仅能够提取到视频的空间特征，还能有效学习视频时

序序列中的长期依赖关系。但考虑到单向循环神经网络捕捉到的视频时间信息不

全面，为此本文使用了双向循环神经网络来从视频帧中提取到双向的时间依赖性

信息，从而可以有效提升深度混合神经网络学习视频数据时序特征的能力，这对

理解整个视频内容具有重要意义。

第二，在深度混合神经网络结构中引入注意力机制即SENet网络，用其得到

不同视频帧相对应的特征通道的权重信息，进而提升对现阶段任务有益的通道特

征并赋予较大权重，对于无用的通道特征加以抑制并赋予较小权重，从而能够有

效解决视频特征中存在的信息过载的问题。

第三，将哈希学习技术整合到网络结构中，使提取到的视频高维特征编码为

紧凑简洁的二值哈希码，这不仅减少了网络存储空间的消耗还能在一定程度上提

升了视频检索性能。同时通过设计网络的目标函数，以此赋予视频二进制哈希码

的分类能力，增强哈希码的紧凑性。

第四，本文将所提方法与其它视频检索方法在已有的视频数据集上进行对比

实验，实验结果表明本文提出的方法具有一定的优越性。

第五，依据本文提出的方法设计并实现了一个视频检索系统，该系统在一定

程度上具有较好的视频检索效果。

关键词：视频检索；深度混合神经网络；注意力机制；特征提取；哈希学习

I

Abstract

Abstract

Alongwiththecomingof5Gtechnology,agreatdealofvideodataisproduced

anduploadedtotheInterneteverydayindailylives,whichbringscertaindifficultiesto

thesearchoftargetvideos.Howtoefficientlyandaccuratelyretrievalforthedesired

targetvideofromalarge-scalevideodatabaseatshortnoticehasbecomeapressing

problem.

Mostofthecurrentvideoretrievalmethodshavesomeshortcomings.Theyeither

ignorethetemporalinformationcontainedinthevideo,resultingintheproblemof

uncleartemporalinformationfeatureswhenextractingvideofeatures;Ortreateach

frameofthevideoequallywithoutfullyconsideringthedifferentrolesplayedby

differentvideoframesinexpressingvideocontent,resultingininformationredundancy

issuesintheextractedvideofeatures.Inresponse