视频智能剪辑技术研究.docxVIP

视频智能剪辑技术研究 摘要：媒体内容的后期制作需要投入大量的精力，特别是视频剪辑过程，更是需要后期人员仔细观看视频内容，选出精华片段。随着人工智能技术的不断发展，智能剪辑技术已经可以较为准确地预测摘要片段。本文调研了已有的视频摘要算法，对不同算法特点进行归纳和总结，设计了智能视频剪辑系统方案，搭建了相关平台，对人工智能技术在广播电视和网络视听内容制作方面的应用有一定的参考价值。 1 研究背景随着数字媒体的发展，每天都会产生大量增量媒体资产，人工制作并发布新闻摘要视频需要花费大量时间。。新闻往往具有较高的时效性，利用人工进行视频剪辑效率较低，基于深度学习技术的智能视频剪辑可大大提高剪辑效率，降低人工成本。目前国内外针对视频摘要技术进行了深入研究，各种先进模型被先后提出。智能视频摘要算法根据其输出内容形式可分为静态视频摘要算法和动态视频摘要算法。静态视频摘要是抽取视频中的关键帧，将这些关键帧向用户进行展示；动态摘要算法是抽取视频中精彩片段，串联组合摘要片段，生成摘要视频，让用户可以快速了解视频内容。智能视频摘要技术已经在视频门户网站、短视频生成、安防安控等领域展开应用，在视频门户网站可为用户提供片源速览；在短视频平台上诸多新闻号利用该技术生成新闻摘要片段并发布；在安防安控等领域，利用该技术可快速提炼有效片段进行监控复查。在当前人工智能、大数据等新技术与广播电视行业融合发展的新形势下，有必要研究人工智能技术在广播电视后期制作方面的研究，加快后期制作效率，减少人工成本。2 算法介绍随着深度学习技术的发展，视频摘要算法能力也得到进一步提升，国内外诸多研究机构针对视频摘要技术进行了深入的研究，包括Austin分校的Zhang等人2.1 有监督动态视频摘要相比图像而言，视频帧之间具有相关性这一特征，Zhang等人提出一种基于监督学习的动态视频摘要技术，该方法使用长短期记忆网络（Long Short-term Memory,LSTM）网络预测视频结构，对视频帧间可变范围时间相关性进行建模，输出具有代表性的片段和时空相关性紧密的片段，vs LSTM网络结构如图1所示。该方法实验结果证明该模型可以有效地提取出顺序结构生成摘要片段。2.2 无监督动态视频摘要2.3 分析基于深度学习技术的动态视频摘要片段生成的一般步骤分为视频帧选取、视频特征提取和摘要片段生成，有效的时序特征和语义特征提取方法是提升模型性能的关键。同时，由于不同帧之间信息量不同，通常采用特征聚合方法进行优化。传统视频摘要方法因其准确率较低逐渐被基于深度学习技术的视频摘要算法替代，基于GAN网络的动态视频摘要算法已具有较高性能，可以替代部分人工进行视频剪辑，是目前视频摘要中性能较好的算法。3 视频智能剪辑技术研究平台通过对视频摘要技术的研究现状分析，本文搭建了视频智能剪辑技术研究平台。平台以国家广播电视总局广播电视科学研究院自研的广播电视人工智能基础资源数据库（CDL数据库）为依托，对数据库内的视频内容进行特征提取和语义分类。利用分类后的视频和视频标签作为智能剪辑的主要资源。智能剪辑过程主要包括视频图像的采集、特征特征提取、关键帧提取以及视频生成。视频图像的采集是针对CDL数据库内的标签，获取符合主题内容的视频片段，通过对视频片段的特征提取，建立视频片段之间的关联。对主题相关性较强的视频片段进行关键帧和关键片段的提取，通过拼接相关联片段，进行视频生成。智能剪辑系统技术路线如图4所示。以智能剪辑技术为依托，平台已经支持的两类典型应用为基于热点事件的宣传片制作和基于地理区域的每日新闻推荐，具体有如下两个方面。3.1 基于热点事件的智能剪辑平台智能剪辑系统包括内容汇集和视频摘要过程，剪辑系统集成了两类视频摘要算法结合内容汇集素材进行视频摘要，智能剪辑系统框架如图5所示。智能剪辑系统依托视频摘要与视频合成领域的人工智能技术，通过对时事内容的热点事件检测，根据检测结果创新地实现了基于深度摘要网络的短视频候选素材选择以及动态视频摘要算法，实现了涵盖精彩时刻的短视频自动化制作，确保了所生成短视频的时效性、准确性与精彩性。3.2 基于区域的热点新闻节选智能视频剪辑针对不同地域的热点事件进行检测和追踪，同时结合时域特征变化与地域特征热点选取主题素材，通过对其特征信息利用数据挖掘技术进行分析，分组分类构建基于地理位置的热点信息，再利用基于深度摘要网络的动态视频摘要模型，生成新闻短视频。用于支撑基于地理位置的智能剪辑平台是一套集视频采集、分析、剪辑、组合为一体的平台，该平台基于深度摘要模型实现对长视频精华内容提取，以进行概要浏览。系统按照热词、时间、地理位置等要素划分热点视频，基于视频动态摘要算法对视频进行智能剪辑，分别进行摘要后