使用深度变换数据提高3D视频合成质量.pptVIP

使用深度变换数据提高3D视频质量使用深度变换数据的3D视频编码 使用深度变换数据提高3D视频质量 目的 提高3D视频中绘制视点的质量 依据 深度图失真引起的绘制视点失真具有高度局部性和非线性的特点，可以只在主观重要的区域使用深度变换数据。 功能 1.提高中间视点的编码效果，能够广泛地应用于 解决各种序列中间视点绘制失真 2.在合成参考视点中选择正确的像素，提升主观质量。 使用深度变换数据提高3D视频质量 一、深度变换数据概念 在不同视点的同一个像素位置。因为摄像机位置不同的话，在图像的同一坐标处深度值，视点不同，深度值也会不同。深度变换数据是两个现有视点的位置之间，对于同一个已知像素点的深度值，会因为视点从右到左的变化产生的变化值。 我们可以通过研究一个像素点的深度值的变化，来确定中间摄像机位置 使用深度变换数据提高3D视频质量 使用深度变换数据提高3D视频质量 二、绘制视点的应用 a.在之前的应用中，深度变换数据用后处理的方式在绘制视点完成以后，纠正在其中出现的画面侵蚀。 局限性：如果侵蚀的范围很大那么未修复的范围就会上去很不自然，只能修复沿着边界处的失真。 原因：以一种后处理的方式进行，深度变换数据没有完全被用在在纠正失真上。 改进：直接在视点合成过程中使用深度变换数据而不是在绘制视点后修复失真。 使用深度变换数据提高3D视频质量 b.选择参考像素 深度变换信息可以让我们非常明确的辨别两个不同深度层次的像素（相应的从左到右的图像）物体的层次可以根据不同的物体的深度等级得到 这种方法是与视点合成算法独立的，它在参考视点中不通过提供额外信息来产生深度层，因为这种方法通过巧妙地使用额外的比特位来将这些层次图提供给许多中间视点 使用深度变换数据提高3D视频质量 C.合成视点过程：将参考像素变换到目标视点中 超过一个参考像素映射到目标视点中的同一个位置：取参考视点到目标视点之间的距离的加权平均值 只有一个参考像素映射到目标视点的像素位置：则它的值可以直接复制到目标视点上。 没有参考像素对应到目标视点：形成空洞，需要修复填补。 合成以后获取深度值，看是否与参考视点属于同一 个层，如果是则合理，不是则不合理。 使用深度变换数据提高3D视频质量 三、性能分析 a.变换距离 dxim=fx*tx/z dxim是摄像机距离tx相应的图像坐标转变，fx是有效像素大小分割的焦距长，Z是物体在场景中的深度值。 影响因素 1.前景和背景边界两边的对比度 2.前景物体的尺寸 3.深度图比特率 使用深度变换数据提高3D视频质量 实验结果 使用深度变换数据提高3D视频质量 实验结果 使用深度变换数据的3D视频编码 目的 改善摄像机在不同位置时的视点插值，提高主观质量，研究深度图的质量怎样影响整体质量。 依据 研究一个特定的像素，考虑到它的相应的深度信息，我们可以判断其在其他视点中的相应位置。如果这第二种视点的深度信息与第一的视点相比，有一个明显不同的深度值，这代表一个闭塞已经产生。 功能：提出一个可以将多余的信息发送到解码器新的3-D视频格式 使用深度变换数据的3D视频编码 一、绘制视点中的失真分析 参考视点中的失真可以直接影响绘制的质量，因为这些参考帧用来插值。其次，在绘制视点中的图像退化，可能是合成过程本身引起的。本文主要研究的是由深度图精确度引起的失真。 深度值得失真将导致在插值过程中产生几何错误 使用深度变换数据的3D视频编码 二、新3-D视频格式 1.深度变换数据的生成 深度变换数据是在每个像素位置上，通过跟踪深度图值的变化生成的。 a. 设立一个由参考视点决定前景或者背景的标准,深度图用来分离 b. 当中间视点的深度信息或者视频信息不能得到。深度转换发生的时候的摄像机位置可以通过使用摄像机的一些参数来估计. 使用深度变换数据的3D视频编码 深度数据的生成 使用深度变换数据的3D视频编码 2.解决画面侵蚀：为每种绘制视点插值提供额外的信息 在编码器中综合视点然后传输合成视点和原始的捕获视频时的残留信息（开销大） 可以发送相同的辅助数据（灵活性好） 相比传统的深度图信息分别为每一个参考视点单独提供，这种深度变换数据的优点是，一旦这种数据已经产生，在绘制任何角度的图像时，仅仅需要一个简单的数据集就可以了。另外，我们可以仅为视频中主观重要（或者精确度要求高）的部分提供深度变换数据。这样在为深度变换数据控制编码精确度时更加简单，这个功能可以使中间摄像机的空间间距最小。因此，如果只有少数中间视点需要插值的话，可以用粗略的描述。 使用深度变换数据的3D视频编码 a.对于一个任意角度的视点，可以通过深度变换数据去判断其实属于前景还是和背景 b.如果目标视点的前景