基于混合深度线索和样本学习的3D电视立体内容自动生成-模式识别与智能系统专业论文.docxVIP

万方数据 万方数据 西安电子科技大学 学位论文独创性（或创新性）声明 秉承学校严谨的学风与优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别中以标 和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果； 也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表 示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名： 日期 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 （保密论文在解密后遵守此规定） 本人授权西安电子科技大学图书馆保存学位论文，本学位论文属于 (保密 级别)，在 年解密后适用本授权书，并同意将论文在互联网上发布。 本人签名： 导师签名： 日 期 日 期 摘 要 摘 要 近年来，3D 电影开始吸引消费者和电影制作公司的关注，通过立体摄像机制 作了越来越多的 3D 视频。然而，大多数的视频依旧以 2D 的格式存在，在后处理 阶段把这些 2D 视频转换成 3D 格式往往需要深度图像估计。在本文中，通过对深 度线索和机器学习方法的深入研究，讨论了基于多深度线索融合和基于样本学习 的深度图像估计方法，并分析了各自对应的优缺点。通过自适应多深度线索融合 的方式提出了一个改进的深度图像估计算法，并且在基于样本学习的方法中考虑 到局部连接信息，利用现代图形处理单元 (Graphics Processing Unit, GPU) 的加速 技术来实现快速的 2D 视频立体化。本文深入讨论了 3D 立体视频生成过程中的深 度图像估计算法，主要从以下几个方面开展了工作： （1）分析了视频立体化的原理，讨论了几种深度图像估计方法，介绍了基于 GPU 的加速技术。 （2）提出了一个基于多深度线索融合的深度图像估计方法，基于运动信息提 取前景深度，利用相对高度线索估计背景深度。利用局部运动的自适应修复，对 原方法进行改进。实验结果证明，改进的方法可以提高深度图像的质量，并能够 保持深度的帧间一致性。 （3）提出了一个基于学习的视频立体化方法，兼顾全局和局部的图像信息。 对于视频的关键帧，根据结构相似的图像具有相似深度的假设，从 RGB-D 数据 库中使用样本学习得到全局的深度信息，并以最小生成树原理表示的局部连接信 息来修复深度图像。利用运动补偿和深度传播的方法来估计非关键帧的深度图像。 实验结果显示，相对于传统的基于深度线索的深度估计方法，本方法更加准确高 效。 （4）通过 GPU 加速技术，提出了一个快速的基于学习的视频立体化方法。根 据 2D 视频立体化过程中各个模块的时间花费，利用 GPU 的高效性能，对其中时 间花费较长且满足并行化的模块进行 GPU 加速，并利用显著图对深度图像做进一 步的修复。在 AMD Athlon II X4 631 2.6GHz 和英伟达 GT 630 的编程环境下，实 验结果表明，GPU 对可并行化的图像处理具有良好的加速效果，使用 GPU 加速 的模块比使用 CPU 至少快 5 ～ 10 倍。 本论文得到国家自然科学基金（No. 的资助。 关键词： 视频立体化 深度图像估计 深度线索 机器学习 GPU 加速 ABSTRACT ABSTRACT In recent years, consumers and film making industry have started to put more atten- tion on 3D films and more and more 3D videos have been made using stereo cameras. However, most videos are still filmed in 2D, and making those 2D videos into 3D in the post processing stage often requires depth map estimation. Based upon in-depth research on depth cues and machine learning methods, depth ma