三维视频中深度图像处理及其ASIC实现_删减稿.docxVIP

 PAGE \* MERGEFORMAT 5 三维视频深度图像处理及其ASIC实现 郭 琪，周 莉，刘正华，杨 博 （山东大学信息科学与工程学院，山东济南 250100） 摘要：在自由视点视频技术中，深度图像预测及处理是其关键技术。运动-视差联合估计的方法可以推算出深度图像，基于自适应色度图像分割方法可以有效地处理深度图像的预测噪声。本文基于自适应色度分割方法，采用专用集成电路（ASIC）完成深度图像的处理及优化。经系统级仿真验证，结果表明：该深度图像处理方法具有实时性、兼容性、实用性等特点，适用于实时自由视点3D视频的处理。 关键词：专用集成电路设计；自由视点视频；深度图像；色度图像分割；运动-视差联合预测 中图分类号：TN919.81 文献标识码：A Research of 3D Video Depth Map Processing and ASIC Design GUO Qi, ZHOU Li, LIU Zheng-hua, YANG Bo (School of Information Science and Engineering，Shandong University，Jinan250061，China) Abstract: In free viewpoint video technology, the estimation and enhancement of depth map is the key point. Depth map is calculated based on disparity offset values, and disparity vector can be predicted by the combined temporal and interview estimation method. The adaptive color image segmentation method can handle the depth image noise prediction effectively. On the basis of adaptive color segmentation method, this paper using ASIC to complete the estimation and enhancement of depth map. The system is validated by simulation, the results show that: the depth image processing method has the advantages of real time, compatibility, practical features, suitable for real-time free viewpoint video 3D processing. Key words: ASIC design; free viewpoint video; depth map; chrominance image segmentation; the combination of temporal and interview prediction 0 引言 自由视点视频(Free Viewpoint Video, FVV)技术是自由视点3D视频处理领域中最有前景的一种技术[1～4]。自由视点视频处理技术的基本方法是基于深度图像来估计和重建多视点视频，从而显著减少数据带宽，所以深度图像的估计和处理方法是自由视点视频技术的关键和重点。 深度图像可以直接由基于运动-视差联合估计的方法计算出来，利用这种方法能够有效减少自由视点视频技术中深度图像处理过程所需的数据带宽，并且没有增加额外的硬件资源消耗和计算时间成本。但是这种方法是在一个特定的搜索窗口内用特定的代价函数来进行块搜索，所以它存在一些问题：在物体的边缘存在着块效应，在连续的大背景区域、复杂背景区域存在预测噪声。基于色度分割的方法可以改进这些错误。 1 色度分割原理 原始的YUV图像是由亮度分量和色度分量组成的。在一般的运动-视差联合估计的方法中，只有亮度信息被用到，以求得视差矢量和深度图像，包含有丰富的物体边界信息的色度分量没有被用到。对于连续物体表面或者背景区域，色度分量值几乎是相同的。所以如果色度图像按照特定的标准被分割，物体的表面或者背景区域就能被相应的检测出来。如果深度图像的像素值在同一个分割内各不相同，那么在这个区域肯定存在深度预测错误。通过检测到错误像素的位置，采取相应的措施来纠正这些错误。 色度分割方法的三个步骤[5]： 第