基于超分辨率的多视角混合分辨率视频描述的关键技术分析-key technology analysis of multi-view mixed resolution video description based on super - resolution.docxVIP

摘要随着 3D 处理、3D 显示技术以及微处理器技术的发展，3D 视频处理应用技术 已成为当前的研究热点，正快速从理论研究向应用领域转化。随着显示终端的进 一步发展，使得 3D 电视、FTV（Free-viewpoint TV）进入到普通用户家庭成为可 能。但随之而来的是更大的挑战：面对海量的视频数据，如何高效地表示多视角 数据，以便能够在带宽有限的信道中传输，并且能够在解码后获得尽可能的高分 辨率与高质量的视频图像。因此，展开多视角视频模型描述研究，以降低数据量 和比特率是非常有必要的。本文在对现有多视角视频框架和图像超分辨率重构技 术的基础上，展开基于超分辨率的多视角混合分辨率视频描述的关键技术研究。本 文 首 先 阐 述 了 在 混 合 分 辨 率 多 视 角 视 频 加 深 度 图 （ MR-MVD ， Mixed resolution-multi-view video plus depth）的多视角混合分辨率视频模型下的几种典型 超分辨率方法。然后，对多视角视频各视角间的相关关系展开研究，并在现有 MR-MVD 框架下，提出一种新的基于视角间相关性的超分辨率算法。与仅将相邻 高分辨率视角图像作为参考帧的传统超分辨方法相比，本文所提算法则充分利用 了多视角混合分辨率视频中的所有高分辨率视角图像，根据各视角间的相关性， 提出一种基于最优权重分配的图像高、低频融合方案，以提高低分辨率视角视频 图像的细节信息。接着，文章还介绍了除 MR-MVD 格式外的其他几种常见多视角 混合分辨率视频表示描述模型。最后，以人眼时域掩盖和双目视觉抑制原理为理 论依据，在 MR-MVD 框架基础上，提出一种新的视角内、视角间联合混合分辨率 视频描述模型，并简要阐述了在现有编解码框架下基于该模型的传输系统。对于典型的多视角混合分辨率视频图像超分辨率技术，文章分别从空域和变 换域进行实现，并且同本文所提的超分辨算法结果进行比较；还将本文提出的视 角内、视角间联合混合分辨率描述模型与传统多视角混合分辨率视频描述框架进 行对比。仿真结果表明，不论是在主观还是客观评价方面，本文提出的全新的超 分辨算法和视角内、视角间联合混合分辨率视频描述模型都取得更好的效果。关键词：多视角视频描述，混合分辨率，图像超分辨，相关性ABSTRACTWith the rapid development of 3D processing, 3D displaying and micro-processor technologies, 3D video processing technology has drawn a lot of attention, and has developed rapidly from theory research to applications. And it offers consumers an opportunity to have a high quality visual experience in 3D video applications, such as 3DTV and Free-viewpoint TV, but the huge challenge is followed, that is, in the face of tremendous of multi-view video data, how to represent these data efficiently so that these video data can be transmitted in the band limited channel. At the same time, high resolution and high quality video images after decoding are required. Therefore, it is necessary to research the representations for multi-view video to reduce data size and bit rate. This dissertation is going to have a research on the key technology of representations for multi-view mixed resolution video based on super resolution, according to the existing multi-view video framework and image super resolution reconstruction technolo