基于DIBR算法的新视点生成及其图像修复-电子与通信工程专业论文.docxVIP

摘 摘 要 I I 基于 DIBR 算法的新视点生成及其图像修复 摘 要 立体显示技术最基本的原理即“视差产生立体效果”。观众通过在其左、右 眼观察到不同的图像，从而在其大脑中融合产生具有深度的立体图像。传统情况 下的三维电视在整个制作、传输、播放的过程中，一般情况下是基于相互之间独 立的两个视频流（左视视频与右视视频）。但是，在投入实际应用后发现，传统 情况下的立体电视模式存在很多局限性，如左、右视图像光度学上的不对称、视 差不可调，以及不能够实现与传统情况下平面电视的后向兼容等等。 Christoph.Fehn 为了解决上述的问题，在 2002 年公开了一种基于深度的图像 绘制（Depth-Image-Based Rendering，DIBR）方法。这一种方法首次创新性地将 单视图像信息和其对应的深度信息图作为传输对象，在立体播放器上生成左、右 两个新视点图像进行播放。McMillan 在 1997 年提出的三维变换方程是其最为核 心的创新点。由于这一种基于深度的图像绘制方法的灵活性与可兼容性，在出现 之后其迅速成为了这一领域中研究的热点问题。基于 DIBR 的立体电视系统与传 统情况下立体电视相比，具有以下优点：基于“structure from motion”算法的 2D-3D 转换技术可以用于从已拍摄的单视彩色图像中生成所需的深度信息；其三 维重建过程能够广泛地在各种不同的立体播放器和投影系统之间进行调整；基于 像素的深度图中仅仅含有少量的高频信息，便于提高立体视频的压缩效率；这一 系统允许观众调整三维重建的深度来满足个人的观看偏爱；克服左右视之间光度 学的不对称。如亮度、对比度和色彩等影响到立体敏感度的因素，这些因素在基 于 DIBR 的立体电视系统中都被消除了。 在实际的三维电视应用系统中，播放端的屏幕视差通常直接采用经验值，而 固定的经验值很难满足不同观众的观看需要。观看喜好、观看距离以及播放器尺 寸等诸多因素都会给三维电视的视觉效果带来很大的影响。为了能够在播放端生 成自适应的屏幕视差，本文设计了一种基于 DIBR 算法的标准化观察模型。这一 模型参考人眼视觉特性，用人眼取代移轴模型中的拍摄系统，从而将屏幕视差设 定在最适合人眼观看的大小。利用本文所设计的标准化观察模型，用户只需设定 一个参数，就可以调整屏幕视差大小，而且不会降低三维电视的立体观看效果。 II II 在采用基于 DIBR 算法生成新视点的过程中，原图像中某些被遮挡的区域， 出现在虚拟的左右视角中。由于这一类区域原来是被遮挡的，因此无论是在单视 图像中，还是在对应的深度图中，都没有这些区域的信息，因此在新视角中这部 分区域以孔洞的形式出现。在合成新视角的过程中，如何处理这些新出现的空洞 成了亟需解决的问题。本文提出了基于深度信息预处理的孔洞填补方法，提高了 绘制视点图像的质量。在预处理过程中，包括了对深度图像进行两种不同的平滑： 1.避免不延续性的平滑：这一平滑过程采用基于空间梯度的避免不延续性的平滑 方法，用于消除深度图像中噪声引起的赝像；2.基于梯度方向的平滑，这一平滑 过程主要通过基于梯度方向赋予不同的权重来对深度图像的水平边缘进行平滑， 从而消除边缘部分产生的比较大的空洞。而在空洞填补过程中，则主要采用基于 边缘的空洞填补算法。 关键词：DIBR，虚拟视点，观察模型，空洞填补 ABSTRACT ABSTRACT PAGE PAGE IV RESEARCH ON METHOD OF SYNTHESIZING MULTI-VIEWS BY DIBR AND PROCESS OF HOLE-FILLING ABSTRACT Technologies of stereoscopic TV are all based on the basic principle that parallax produces stereoscopic effects. When watching 3DTV, the left and right eye of audience receives different images, which will be synthesized into stereoscopic scenes with certain depth perceived by human eyes. The capturing, transmission and display process of traditional 3DTV system relies on two separate video streams, one for the left eye and one for the right eye. However, t