面向电影二转三的评测数据集与深度恢复质量评测标准-cvgzju.pdfVIP

面向电影二转三的评测数据集与深度恢复质量评测标准 1) 1)* 1) 2) 2) 3) 3) 蒋沁宏 , 章国锋 , 陶煜波 ，姜翰青 ,董子龙 ，王慧燕 ，王勋 ，鲍虎军 1) 1) (浙江大学计算机辅助设计与图形学国家重点实验室 杭州 310058) 2) (杭州道玄影视科技有限公司 杭州 312215) 3) (浙江工商大学 杭州 310012) zhangguofeng@cad.zju.edu.cn 摘 要 : 电影二转三过程中的一个关键步骤是深度或三维信息的恢复. 然而目前在电影数据深度 恢复评测方面 尚不存在统一的评价标准, 同时也没有专门针对电影二转三的评测数据集可供不同方法 进行定量测试,这严重阻碍了相关研究的发展. 传统的深度评测标准关注恢复的深度值的绝对误差, 而 在电影二转三中我们更多地是关注场景中物体的相对深度以及边缘的准确性 ; 同时现有的深度数据集 往往都是利用深度摄像头直接拍摄, 场景大多静止,而 电影数据中往往存在大量动态物体. 本文旨在为 电影二转三中深度信息恢复的研究供一套完整的评价标准和评测数据集. 我们从数部电影中挑选出 共 600 余帧数据, 利用人工手动建模的方式为每一帧标定出相对深度信息, 同时我们还为大多数图像 数据供了前背景的分割掩模, 使得可以将场景准确地分割为前后景 ; 进一步我们针对电影二转三深 度要求的特殊性出了一套评价标准, 并对现有的深度恢复方法在数据集上进行了效果评测 ; 最后我 们出了一套针对电影数据集的深度恢复方法. 通过数据集的构建, 我们为电影二转三中的深度恢复 供了一个测试数据集, 并供了符合电影深度恢复需求的评价标准, 使得不同的研究方法能够进行 定量的比较, 从而促进相关研究工作的发展. 关键词 : 深度恢复 ; 电影二转三; 评测标准 Depth Recovery Benchmark for 2D to 3D Conversion of Movies Qianhong Jiang1), Guofeng Zhang1)*, Yubo Tao1), Hanqing Jiang2), Zilong Dong2), Huiyan Wang3), Xun Wang3) and Hujun Bao1) 1) (State Key Lab of CADCG, Zhejiang University, Hangzhou 310058) 2) (Hangzhou Taovision Film Tech. Co. Ltd, Hangzhou 312215) 3) (Zhejiang Gongshang University, Hangzhou 310012) Abstract: A key step in the process of converting 2D film to 3D is the depth or 3D information recovery . However, currently, there are no uniform evaluation for depth recovery of movie data, and no appropriate datasets for quantitative evaluation of movie depth recovery quality, which restricts the development of 2D to 3D conversion of movies. Traditional depth evaluation methods focus on the absolute error of the recovered depth. However, for 2D to 3D conversion of movies, we are more concerned about the accuracy of relative depth and edge boundaries . Meanwhile existing depth datasets often use depth camera to directly capture data,