基于特征的视频分割与内容总结-软件工程专业论文.docx

摘要随 着 大 数 据 时 代 到 来，数 字 媒 体 及 其 相 关 的 领 域 正 在 发 生 革 命 性 的 变 化， 为数字图像处理技术带来许多新的挑战。本文主要关注的问题可概括为：? 如何将 大量低层次的视觉特征有 效融合，进而形成 对图像、视频内容 在 语义层面的理解，满足人们高效地分类存储及检索图像、视频的需求；? 如何充分利用海量无标注数据，并对大量冗余的视觉特征进行有效特征 选择，剔除不相关特征，减少存储空间并提高分类准确率；? 如何自 然概括地诠释长视频内容，以供人们快速浏 览，从而从另一个 角 度解决语义鸿沟的问题。本文从以下三个方面尝试解决上述问题： 首先，本文提出了一种基于高阶条件随机场的自适应特征融合方法，对视频 进 行 语 义 层 面 的 运 动 目 标 分 割。该 方 法 优 化 了 传 统 视 频 分 割 问 题 中 多 种 视 觉特征无法动态自适应融合的问题，对视频分割给出了更通用、准确率更高的 解决方案。其次，在存在着大量无标注数据的前提下，本文提出了一种半监督的特征 选 择 方 法，该 方 法 采 用 嵌 入 式 特 征 选 择，将 基 于 ?2,1 范 数 的 稀 疏 项 与 半 监 督 学 习 相 结 合。在 大 规 模 真 实 网 络 图 像 上 的 分 类 实 验 证 明 了 该 方 法 能 够 在 仅 有 少 量标注信息的限制下得到较高的分类准确率。第三，在上述实验过程中以及对大量已有工作的总结中，发现语义鸿沟不 可避免的产生，因而本文在对低层次特征的理解上，提出一种基于一类支持向 量机的视频总结方法，产生代表性广、震撼力强，且可连续播放的视频总结方 案，并使自动生成能够引起人们观影兴趣的电影宣传片成为了可能。综上，本文从上述三个角度，充分融合并利用了各种低层次视觉特征，尝 试解决图像、视频检索中的语义鸿沟问题，并给出了多种解决方案，在真实图 像、视频数据集上对算法进行了验证，证明了我们提出的方法的可行性、有效 性。关键词： 视频分割，图像特征选择，视频总结，图像处理，半监督特征选择 ABSTRACT ABSTRACTIn the era of “big data”, revolutionary changes are taking place in digital media and related academic areas, bringing many new challenges for digital image processing. In this thesis, we focus on three major problems:How to e?ectively and e?ciently fuse multiple low-level features, in order to gen-erate semantic understanding of images and videos for e?cient storage and index;How to take advantages of large-scale unlabeled data and benefit feature selection for big and redundant visual features, hence removing unrelated features, reducing storage space, and improving classifiers’ accuracy;How to naturally summarize long videos for quick skimming which tries to solve“semantic gap” from another perspective.We will try to solve the above problem with the following steps:Firstly, we propose a video segmentation method via adaptive higher-order CRF with windowed dynamics, which is a general and e?ective resolution for moving object segmen- tation.Secondly, we propose a semi-supervised feature selection method for web image clas- si cation, which takes advantages of both ?2,1-norm based em