原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
用于表示与字幕应用的分层循环神经编
§†§§§†
挺浙江大学悉尼科技大学
{lighnt001,zhongwen.s.xu}@.comyi.yang@.au{wufei,yzhuang}
@
Simonyan和Zisserman[26]将堆叠的光流帧与
RGB流结合，用于训练用于分类的ConvNets，其
近年来，深度学习方法，尤其是深度卷积神经网
在动作识别中的性能可与iDT相媲美。双流
络（ConvNets），在图像分类任务中实现了压倒性的
ConvNets[26]和iDT[40]的一个局限性是，两者都
准确率并具有快速的处理速度。将时间结构与深度
需要光流作为输入，而光流的提取成本较高（通常需
ConvNets相结合以进行表示，已成为内容分
要0.06秒来提取一对帧之间的光流[26]），并且只能
析中的一个基础问题。本文中，我们提出了一种新的方
捕捉短时片段中的时间信息。
法，称为分层循环神经编（HRNE），用于挖掘视
频的时间信息。与近期的表示推理方法相比，本文
做出了以下三个贡献。首先，我们的HRNE通过减少输为了避免提取光流，[35]中提出了3D卷积网络
入信息流的长度并在更次上组合多个连续输入，能（ConvNets），用于生成表示，并着重于提升效
够有效地在更长时间范围内挖掘的时间结构。其率。然而，这种方法每次只能处理大约16帧左右[35]。
次，在实现更强非线性能力的同时，计算操作显著减，受通用循环编器框架[31]的启发，长短
少。第三，HRNE能够揭示不同粒度的帧块之间的期记忆网络（LSTM）[11]已被应用于分析
时间转换，即它既可以建模帧之间的时间转换，也可以[20],。LSTM的一个显著特点是能够对数据序列进行
建模片段之间的时间转换。该新方法应用于建模。然而，正如本文所试图解决的问题一样，仍有
字幕生成任务，其中时间信息起着至关重要的作用。实一些尚未得到解决。
验表明，我们的方法在字幕生成基准任务上优于当首先，大量长距离依赖关系通常难以捕捉。尽管
前最先进的方法。LSTM在理论上可以处理较长的片段，但已有研
究，输入到LSTM中的片段的理想长度通常
在30到80帧之间[20,37]。为了在建模更长的片
段时仍能达到类似[20,37],中的良能，我们提出
1.引言将一个长片段划分为若干个较短的帧块，将这些
帧块输入LSTM，并将各帧块的LSTM输出组合成一个
将时间信息融入表示中长期以来一直是计算机视觉
中的一个基本问题。早期的工作，如DenseTrajectories
文档评论（0）