基于内容的视频片段检索技术研究.pdfVIP

、 ＼ 图形图像 基于内容的视频片段检索技术研究★ 赵亚琴 ． 江 莺 (南京林业大学机械电子工程学院 ，南京 2l0o37) 摘 要：深入分析和总结了片段检索方法的关键技术，主要 包括视频片段 的表达 、片段的相似性 度量、相似片段的 自动分割和相似片段的排序 ，介绍 目前 已有的片段检索方法及其各 自 的优缺点，提 出一些这一领域的难点和值得进一步研究的问题 。 关键词：视频片段检索；查询片段；相似片段 ；片段匹配 0 引 言 视频片段 的相似性度量方法主要可以分为两类． 一 类是在视频帧层次上定义的相似度 ．这类算法规 虽然．国内外对于视频片段检索技术已经有了一 定视频帧序列必须遵守同样的时间顺序．而实际的视 些积累 ．但毕竟片段检索方面的研究刚刚开始 ．相关 频节 目的编辑并不总是遵守这种约束 ．帧的时问顺序 的理论和算法还有很多不够完善的地方 ．特别是在融 不完全一致的片段也可能是相似的片段．而且这种基 合视觉 、音频和文本多种媒体特征进行检索方面的研 于视频帧的比较方法使得检索速度 比较慢 另一类是 究较少 ．还没有很好地解决怎样在连续的视频节 目里 在镜头层次上定义的相似度fl4,]．这是一种常用的片段 自动分割出多个相似的片段的问题等 因此 ．视频片 相似度定义方法 ．查询片段和视频数据库的视频 队列 段检索技术 的突破必将有力地推动多媒体信息检索 首先分割为镜头 ．每个镜头用一个或几个关键帧表 技术的发展 ．具有十分重要的理论意义和实际价值 示 ．用镜头的相似性定义两个视频片段的相似测度 1 视频片段检索的关键技术 1．3 相似片段 的 自动分割 目前的大多数研究是针对 已经分割好的视频 片 1．1视频 片段的表达 段数据库进行片段检索。然而，在实际应用 中，视频数 视频片段 由语义相关的镜头组成 ．而镜头是指一 据库 中通常是连续的视频节 目．而不是事先分割好的 系列连续纪录的图像帧．一般是由摄像机一次摄像的开 视频片段数据库 ．因此 ．本文对从连续 的视频节 目数 始和结束的所有帧构成，可见 ，一个视频片段是 由一系 据库中检索相似视频片段进行研究。在文献f5忡 ，我 列在时间和空间上存在很大冗余 的连续 图像帧构成 们在定义相似镜头集和片段匹配度的基础上 ．提出一 因此 ．视频片段通常用提取的关键图像帧来表达 ．然后 种基于滑动镜头窗的相似 片段 自动分割算法 ．如图 1 基于关键图像帧提取图像特征，例如颜色、纹理等。 所示 ．只需对视频库一次性浏览 、就可以检索到真正 1．2 片段的相似性度量 与查询片段相似的多个片段 视频片段相似性 的定义要解决如下技术难点fIj：