立体视频帧估计与内插技术及立体视频编解码系统研究-通信与信息系统专业毕业论文.docxVIP

摘要近年来，随着计算机和显示技术的进步，立体数字电视将会逐步取代HDTV， 摘要 近年来，随着计算机和显示技术的进步，立体数字电视将会逐步取代HDTV， 成为下一代的数字视频主流和未来多媒体通信中的一个重要组成部分。但是传输 或存储立体视频的数据量将是单通道视频的两倍以上。因此，在带宽有限的信道 中，如何利用双耳流之间的相关性以整体地提高两路视频信号的编码效率，就成 为当前立体数字电视的重要研究方向。 与单视视频序列相比，在立体视频序列中由于增加了另一个流的图象帧，使 得立体图象序列中还增加了大量的冗余度。根据这样的事实以及人眼的立体视觉 掩蔽特性，允许立体视频流中的许多帧无需进行编码传输而直接在解码端进行恢 复。这样可提高立体视频的编码速度和压缩率，降低用于传送立体视频流的附加 带宽。因此本文主要从提高立体视频帧估计的失真性能和重建帧速度的角度研究 立体视频帧估计和内插算法，相应地做了一些改进和创新的工作。 本文首先对影响帧估计和内插的各种因素加以分析，对当前的立体视频帧估 计和内插算法一基于固定块匹配的FSBM算法中存在的各种问题进行了实验和讨 论，指出了提高重建帧估计精度的关键在于解决重建帧中运动区域的运动匹配以 及运动遮挡问题，而提高重建速度的关键在于提高运动估计的速度。因此提出了 一种基于运动和亮度信息的不规则四叉树运动估计和分割方法(简称IMR．QT法)。 在运动估计的同时进行分割，在分割时综合了运动和图象亮度信息，使得分割位 置发生在与尖锐的运动不连续的地方最接近的位置(如物体的边缘)，避免了块运 动估计中存在的块状可视干扰，保留了运动细节。在进行运动估计和分割时，还 使用多分辨率结构以降低计算负担。 在基于IMRQT的运动估计和分割结果上，又提出了新的立体视频帧估计方 法，将被重建的图象分为运动匹配区域和运动失匹配区域，给出了对于这两类区 域进行预测和填充的方法。与当前算法相比，基于IMRQT的立体视频帧估计方法 比FSBM方法帧重建的速度提高了约20倍，图象信噪比提高1．27dB一3dB，并具 有较好的估计精度和主观观感。 在帧估计和内插时如果利用被编码传输的参考帧的运动和视差矢量场，就可 以避免在解码端重做运动／视差搜索估计。为此本文利用立体透视投影几何模型， 推导出立体视频中邻接帧之间视差矢量场与运动矢量场之间的对应关系，并将这 种关系应用于立体视频的帧估计之中，提出在立体视频的两个邻接立体图象对中， 当其中一幅图象未知时，可以通过其余3幅图象以及它们之间的视差和运动场来 准确估计该未知图象的的方法：对于非视差遮挡区域中的象素点，利用视差和运 动矢量之间的对应关系获得该内插点的映射位置和映射强度；对于视差遮挡区域 中的象素点，可根据视差遮挡的特性及其约束条件，定义一个合适的置信度检验 方法构造代价函数，利用其邻域中非视差遮挡区域象素点所对应的运动矢量来估 计其对应的运动矢量并进行映射，以得到该象素点的位置和强度估计值。本文称 这种方法为基于运动／视差方程及最小代价方程的立体帧估计与内插方法(简称 MDR—LCF方法)。为了提高帧估计的鲁棒性，综合利用在解码端已获得的运动和视差矢量场以 MDR—LCF方法)。 为了提高帧估计的鲁棒性，综合利用在解码端已获得的运动和视差矢量场以 及前后参考图象帧进行帧估计，提出了基于混合MDR—LCF(简称CMDR_LCF) 的帧估计方法。 使用CMDR LCF方法的一个前提条件是在视差矢量场中显式标记出视差遮 挡区域和非遮挡区域并对它们分别进行处理。因此本文针对立体视频编码时用基 于块的视差估计算法得到视差场后进行帧估计的情况，又提出了无遮挡检测的帧 估计方法一改进CMDR LCF方法。 实验结果表明，对于重建帧的PSNR，CMDR LCF方法比基于FSBM方法提高 了2．5dB左右，而改进CMDR LCF方法则提高了将近3dB左右{且由于直接使 用解码端获得的运动和视差矢量，避免了运动／视差估计带来的计算量，使得这两 种方法的帧估计速度比FSBM方法提高了约60倍。 结合本文的前期研究结果，本文还提出了与单视编码序列标准相兼容的高效 立体视频编解码系统。该系统对其中的辅视流，仅对少数的参考帧进行预测编码 和传送，其余帧则完全“跳过”，而在解码端通过帧估计和内插进行恢复。实验结 果表明，本文提出的立体数字视频系统的总比特流仅是通常单视数字视频传输比 特流的1．15～1．3倍左右，且具有良好的3D立体视觉效果。 由于立体图象预单视图象有质的区别，仅用PSNR测试重建立体图象的质量是 不充分的，为此本文提出了一种测试重建立体图象对的视差相似性检测的评价方 法。该方法立体图象对与原始图象对在的视差场之间的差异程度来反映帧估计算 法的性能。因目前国际上尚没有更好的立体图象的