基于图像的深度计算详解.pdfVIP

第?8?卷??第 8?期??2012?年?8?月 基于图像的深度计算 章国锋　姜翰青　鲍虎军 关键词：深度计算　多视图几何　光度立体　三维重建 浙江大学 引言 在视网膜上所成的两幅像会有所差别。不同远近程 目前相机所拍摄的图像或视频仅部分地记录了 度的物体，所形成的视差是不一样的。如果两只眼 真实世界在二维平面上的颜色投影，并不直接反映 睛都是平视正前方，其视差跟物体的深度成反比， 实际场景的三维结构。因此，计算机难以根据照片 由此可以推断出物体的深度信息。人眼就是依此来 自动准确地理解拍摄的实际复杂场景，从而阻碍了 观察世界，并形成立体印象的。 对图像和视频信息的深层次应用。 根据多视图几何原理 [2]，对于一个静止的场 深度指的是场景中某个点到相机中心所在的XY 景，如果我们从不同位置拍摄了多幅图像，而且不 平面的距离。我们可以用一张深度图来表示场景中 同图像之间有公共内容，那么理论上就能从这些图 的各个点的深度信息，即深度图中的每一个像素记 像自动地恢复出摄像机的内外参数以及场景的三维 录了场景中的某一个点到相机中心所在的XY平面的 信息。通常，这个过程可以分为两个步骤：（1） 距离。从真实拍摄的图像和视频中恢复出深度信息 首先对各张图像抽取特征点并进行匹配，然后根据 是计算机视觉领域的经典问题。这个问题如果能得 得到的稀疏二维匹配点求解出各张图像的摄像机内 [1] 到很好的解决，将直接促进很多相关应用的发展 。 外参数（包括焦距、旋转矩阵和位移等）以及特征 基于图像的深度计算方法有各种各样，常见 点的三维位置；（2）根据恢复的摄像机参数进一 的主要有多视图立体法（multi-view stereo）、光 步进行稠密的逐像素的匹配，从而为每张图像恢复 度立体视觉法（photometric stereo）、色度成形法 出深度图。第一个步骤就是我们通常所说的摄像机 （shape from shading）、散焦推断法（depth from 跟踪或运动推断结构（structure from motion），第 defocus）以及基于机器学习的方法等等。其中以多 二个步骤称为立体匹配（stereo matching）。 视图立体法最为常用。下面我们对这些方法的发展 仅考虑两幅图像之间的立体匹配，又称为双 历程和代表性的工作做一下简要的回顾和介绍，并 视图立体匹配。沙斯坦因（Scharstein）和则里斯 对未来的发展趋势进行讨论和总结。 （Szeliksi）于2002年写了一篇关于双视图立体匹配 的综述文章，对当时的立体匹配方法做了详细的分 基于多视图的深度计算 析和评估