2融合对象性和视觉显着度深度估计-中国图象图形学报.doc

中图法分类号：TN911.73 文献标识码：A 文章编号：1006-8961(2013 ) - - 论文引用格式： 融合对象性和视觉显著度的单目图像2D转3D 袁红星， 吴少群 ，朱仁祥， 安鹏 宁波工程学院电子与信息工程学院, 宁波 315016 摘 要：受对象性测度和视觉显著度的启发，提出一种适用于单目图像2D转3D的对象窗深度中心环绕分布假设，给出融合对象性测度和视觉显著度的单目图像深度估计算法。首先计算图像的视觉显著度并将其映射成深度；其次在图像上随机采样若干个窗，并计算这些窗的对象性测度；再次，定义一个能量函数用于度量深度和对象性测度对彼此的影响程度，并通过迭代优化的方法改进深度和对象性测度的估计结果；最后，根据深度信息进行3D视频合成。实验结果表明，融入对象性测度信息后，显著改进了基于视觉显著度2D转3D的深度估计质量，保证了估计深度在对象边界处的不连续过渡和其他区域的平滑过渡。 关键词 ：对象性测度; 视觉显著度; 2D转3D; 3D视频 Single-view image 2D-to-3D conversion based on objectness and visual saliency Yuan Hongxing, Wu Shaoqun, Zhu Renxiang, An Peng School of Electron and Information Engineering, Ningbo University of Technology,,Ningbo, 315016 Abstract: Inspired by objectness measurement and visual saliency, we propose an object window center-surround depth distribution hypothesis for single-view image 2D-to-3D conversion. Based on this model, a depth estimation method fusing objectness and visual saliency is present. Firstly, visual saliency detection is performed and it is mapped to depth. Secondly, some windows are sampled randomly for objectness measuring. Thirdly, an energy function is used to model relations between depth and objectness, and then it is minimized by an iterative method to improve depth estimation results. Finally, 3D video is rendering based on depth. Experimental results show that our method improves depth discontinuity at objects boundary and continuity at other regions greatly. Key words: objectness measurement; visual saliency; 2D-to-3D conversion; 3D video 0 引 言 随着3D立体频道的开通和3D电影的普及，3D内容不足成为制约3D视频产业发展的主要因素。2D转3D根据各种线索从2D视频中提取深度，进而利用DIBR(depth image based rendering)技术予以展现。2D转3D能够在较短时间内以较低的成本将现有海量2D视频资源转换为可立体显示的3D视频，既能缓解当前3D内容不足的状况，又能解决利用3D拍摄设备直接制作3D内容的高成本和操作不便性，因而成为当前研究热点。解决单幅图像2D转3D是实现视频2D转3D的关键。由于3D到2D成像过程的不可逆性，单幅图像2D转3D是个病态问题。幸运地是，视觉3D体验无需获取准确的场景深度，只需相对深度即可[1]，这使得根据各种深度线索进行2D转3D成为可能。Kim等人将场景的视觉显著度图(visual saliency map)直接作为估计的深度图，然后基于深度信息进行3D视频绘制，实验结果表明这种方法能够创建较好的立体感[2]。 但是，我们注意到真实深度信息具有如下两个特点： 1）同一个对象的深度具有渐变性； 2）不