基于内容的电影视频检索和精彩视频剪辑系统研究-信号与信息处理专业论文.docxVIP

目录 １绪论 1 1.1 课题研究背景及意义 1 1.2 基于内容的视频检索理论基础 1 1.2.1 基本概念 1 1.2.2 关键技术综述 2 1.3 国内外研究现状 3 1.4 课题主要工作 4 1.4.1 研究内容 4 1.4.2 研究难点 4 2 框架构建 7 2.1 用 DIRECTSHOW 技术捕获视频帧 7 2.2 基于内容的视频检索模块 8 2.3 基于内容的音频检索模块 9 2.4 视频检索浏览与视频摘要 9 3 精彩视频场景检测 11 3.1 视频图像特征的提取 11 3.1.1 爆炸枪击场景的特点 11 3.1.2 爆炸场景的预检测 12 3.1.3 枪战场景的预检测 13 3.2 音频特征提取 15 3.2.1 音频特征提取 15 3.2.2 爆炸枪战场景的音频检索 16 3.3 视音频特征综合检索 17 3.4 试验结果和分析 19 3.5 视频摘要 21 3.5.1 视频摘要的应用 21 3.5.2 视频摘要的分类和方法 22 3.5.3 生成独立视频摘要 24 4 系统介绍 25 4.1 运行环境 25 4.2 功能简介 25 4.2.1 视频检索和浏览 25 4.2.2 视频摘要生成 27 5 总结与展望 29 5.1 本文工作与成果总结 29 5.2 存在的不足与今后研究方向 29 致 谢 31 参考文献 33 附录 1 音频特征向量 37 附录 2 电影视频检索结果 38 在校期间发表论文 41 绪论 绪论 西安理工大学硕士学位论文 西安理工大学硕士学位论文 PAGE PAGE 13 PAGE PAGE 2 １绪论 1.1 课题研究背景及意义 随着科学技术的进步发展和推广使用，特别是计算机技术和网络技术的发展，信息 高速公路的建设，以及多媒体的推广使用，现代信息处理的对象和方法都有了很大的变化。 各种多媒体数据更是以爆炸性速度增长，使得视频检索技术日益受到广泛的关注。 电影或电视剧视频是人们日常生活中最喜闻乐见也是最常见的多媒体内容。（由于 是在计算机上进行处理，本文所提到的视频均指数字视频。）面对丰富的国内外电影视 频，观众可能只对其中某些镜头感兴趣，比如：火爆的动作场景，或是某位影星的特 写镜头。对于这种需求传统的基于文字或数字的检索方法是无能为力的。 对于一段视频，用户可能要在短时间内，无需浏览整部影片，仅仅通过了解其部 分内容，即可决定是否值得详细观赏。现在的电影新片推出，往往附带有电影预告片， 预告片中一般无法了解整个故事的梗概，但常常包含一些精彩的镜头以吸引观众。现 在的互联网视频点播系统用户也有这种需求，特别是在有限的带宽情况下，提供简短 的精彩视频剪辑（Highlights）有助于用户进行快速选片。精彩视频剪辑属于视频摘要 的范畴，由原始视频中的精彩镜头组成【1】。 本课题主要针对以上两个方面提出，希望通过电影视频结构特点和视频中的图像 和音频信息建立一个基于内容的视音频检索系统和视频摘要自动生成系统。 1.2 基于内容的视频检索理论基础 基于内容的视频检索技术就是通过对视频数据中所包含的视觉内容进行分析和特征 提取(如图像的颜色、纹理、形状【2】-【6】，视频中的镜头、场景、镜头的运动【7】，声音 的音色、音调、响度等【8】【9】)，使人们可以直接利用计算机搜索符合主观感受的相似内 容片段。而这种工作是直接根据视频的内容含义而展开和进行的。 1.2.1 基本概念 · 帧 视频可以看作是一个连续静态图像的序列，其中的每一幅静态图像称为一 帧； · 镜头 一个镜头由一个摄像机连续拍摄得到的时间上连续的若干帧图像组成； · 关键帧 一幅能描述镜头主要内容的帧。根据内容的复杂程度，一个镜头可以 有一个或多个关键帧； · 场景 由一些语义相关的镜头组成，这些镜头不一定在时间上连续。场景描述 了一个独立的故事单元（或者说是一个高层概念）。 电影视频中，一个场景就是一个相对独立的情节，比如人物在房间的一次谈话或 动作片中的一场战斗。 一段视频的典型结构如图 1-1 所示： y t 帧序列 像素 P(x,y,t) 0  图像帧  镜头 视频流序列 场景 镜头 x 1.2.2 关键技术综述 图 1-1 视频基本结构 Figure 1-1 Video structure a． 镜头分割技术 镜头是一部摄像机一次运动连续拍摄得到的时间上连续的若干帧图像。在这样分解的 基础上可对视频进一步组织，形成更为精练的视频结构，同时也是对视频高层语义和情节 检测的基础。 从视频剪辑的角度看，镜头的边缘一般可分为两种：切变和渐变。切变的检测算法主 要有：像素对比较法、模板比较法、颜色直方图比较法等【10】-