结合视觉显著性的三维视频增强和视频重定位技术研究-电子与通信工程专业论文.docxVIP

万方数据 万方数据 独 创 性 声 明 本人郑重声明：所呈交的论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得宁波 大学或其他教育机构的学位或证书所使用过的材料。与我一同工作的同 志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢 意。 若有不实之处，本人愿意承担相关法律责任。 签名： 日期： 关于论文使用授权的声明 本人完全了解宁波大学有关保留、使用学位论文的规定，即：学校 有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论 文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 （保密的论文在解密后应遵循此规定） 签名： 导师签名： 日期： 结合视觉显著性的三维视频增强和视频重定位技术研究 摘 要 3D(Three Dimensional)视 频 带 给 人 们 更 加 真 实 的 立 体 感 受 ， 但 是 由 于 技 术 还 未 成 熟 ， 存 在 许 多 问题 。 为 了 使 3D 视 频 技 术 更 加 完 善 ，本 文 从 三 维 视 频 增 强 和 视 频 重 定 位 两 个 方 面进 行 研 究 。 通 过 三 维 视 频 增 强 技 术 提升 由 绘 制 得 到 的 3D 视 频 的 质 量 ， 利 用 三 维视 频 重 定 位 技 术 使 得 3D 视 频 能 够 适 应 不 同 尺寸 的 显 示 器 ， 其中 视频重 定位技 术需要 对视频 中重要 区域进 行保护 以免造 成视觉 失真。所以 本 文首 先对视 觉注意 力进行 研究，提出 了两种 视频显 著性检 测模型 ，用于 检测视 频 中 重 要 的 区 域 ， 然 后 针 对 三 维 视 频 增 强 和 视 频 重 定 位 技 术 分 别 提 出 了 可 行 的 方 法， 详细的 研究内 容包括 以下三 个方面 ： (1) 针 对 视 觉 注 意 力 建 模 ， 本 文 提 出 了 两 种 2D 视 频 显 著 性 检 测 模 型 。 第 一 种模 型通过 对视 频进行 空间分 解后 获得三 个平 面的切 片，分 别为 X-T 切片 ，Y-T 切片 和 X-Y 切片 ， 然后 利用 稀疏矩 阵的 低阶 分解分 别从 X-T 切片 和 Y-T 切片 中 获取 时域显 著图，从 X-Y 切片 中获得 空域 显著图 ，最后 将两个 显著 图结合 获得最 终 的 显 著 图 。 第 二 种 模 型 主 要 是 通 过 从 视 频 流 中 获 取 的 DCT 系 数 和 运 动 矢 量 ， 分别 用来求 取纹理 显著图 和运动 显著图，然后 通过求 取背景 的复杂 度来调 整纹理 显著 图，运动 显著图 通过与 帧差图 结合进 行优 化，最后 本文通 过显著 性的不 确定 性来 决定两 种显著 图的结 合权重 。 (2) 关 于 三 维 视 频增 强 方 面 的 研 究 ， 本 文 提出 了 两 种 视 频 增 强 的 方 法 ，其 中 针 对 深 度 图 像 的 绘 制 (Depth Image Based Rendering, DIBR) 技 术 ,本 文 提 出 了 一 种 面向 虚拟视 点绘制 的深度 图像后 处理 方法，在本 方法中 ，首先 利用基 于置信 区间 的交 点规则 确定深 度图像 中每个 像素点 的滤波 窗口，然后 利用最 小均方 逼近多 项 式技 术估计 每个像 素点的 深度值，再利 用加权 模式滤 波器对 估计的 深度图 像进行 滤波 处理，得到 深度滤 波图像 。针对 由深度 视频采 集系统 获得的 低分 辨率的 深度 视频，本文 提出一 种基于 彩色和 深度联 合稀 疏分析 模型的 深度图 重建方 法 ，该方 法主 要是通 过训练 的方法 构建彩 色和深 度联合 稀疏分 析模型，然后 利用该 模型对 低分 辨率深度图 进行重 建，从而 获得高 分辨率 的深度 图。实验 结果显 示，本文 方 法能 够精确 地恢复 出真实 深度信 息，提 高虚拟 视点图 像的绘 制性能 。 (3) 关 于 三 维 视 频的 重 定 位 技 术 的 研 究 ， 本文 提 出 了 一 种 基 于 内 容 的 三维 视 频重 定位方 法。该方 法通过 加入深 度信息 的显著 图提取 出三维 视频中 的重要 内容 并进 行保护 ，再结 合视频 时域相 关性和 空域相 关性 ，使得 重定位 后的视 频能够 保 持时 域和空 域的连 续性 。将上 述三种 视频特 性结合 起来换 算成 总能量 图，可以 发 现能 量越小 区域对 于视频 内容越 不重要 ，所以 可以将 能量最 小区域 作为缝 的选择 从视 频中去