基于图像的深度计算.pdfVIP

第 8 卷  第 8 期  2012 年 8 月 基于图像的深度计算 章国锋　姜翰青　鲍虎军 关键词 ：深度计算　多视图几何　光度立体　三维重建 浙江大学 引言 在视网膜上所成的两幅像会有所差别。不同远近程 目前相机所拍摄的图像或视频仅部分地记录了 度的物体，所形成的视差是不一样的。如果两只眼 真实世界在二维平面上的颜色投影，并不直接反映 睛都是平视正前方，其视差跟物体的深度成反比， 实际场景的三维结构。因此，计算机难以根据照片 由此可以推断出物体的深度信息。人眼就是依此来 自动准确地理解拍摄的实际复杂场景，从而阻碍了 观察世界，并形成立体印象的。 对图像和视频信息的深层次应用。 根据多视图几何原理[2 ] ，对于一个静止的场 深度指的是场景中某个点到相机中心所在的XY 景，如果我们从不同位置拍摄了多幅图像，而且不 平面的距离。我们可以用一张深度图来表示场景中 同图像之间有公共内容，那么理论上就能从这些图 的各个点的深度信息，即深度图中的每一个像素记 像自动地恢复出摄像机的内外参数以及场景的三维 录了场景中的某一个点到相机中心所在的XY平面的 信息。通常，这个过程可以分为两个步骤：（1 ） 距离。从真实拍摄的图像和视频中恢复出深度信息 首先对各张图像抽取特征点并进行匹配，然后根据 是计算机视觉领域的经典问题。这个问题如果能得 得到的稀疏二维匹配点求解出各张图像的摄像机内 [1] 到很好的解决，将直接促进很多相关应用的发展 。 外参数 （包括焦距、旋转矩阵和位移等）以及特征 基于图像的深度计算方法有各种各样，常见 点的三维位置；（2 ）根据恢复的摄像机参数进一 的主要有多视图立体法 （mu lt i-vi ew st er e o ）、光 步进行稠密的逐像素的匹配，从而为每张图像恢复 度立体视觉法 （photometric stereo ）、色度成形法 出深度图。第一个步骤就是我们通常所说的摄像机 （shape from shading ）、散焦推断法 （depth from 跟踪或运动推断结构 （structure from motion ），第 defocu s ）以及基于机器学习的方法等等。其中以多 二个步骤称为立体匹配 （stereo matching ）。 视图立体法最为常用。下面我们对这些方法的发展 仅考虑两幅图像之间的立体匹配，又称为双 历程和代表性的工作做一下简要的回顾和介绍，并 视图立体匹配。沙斯坦因 （Sch ar st ei n ）和则里斯 对未来的发展趋势进行讨论和总结。 （Szelik si ）于2002年写了一篇关于双视图立体匹配 的综述文章，对当时的立体匹配方法做了详细的分 基于多视图的深度计算 析和评估[3] 。双视图立体匹配方法相对比较简单， 但容易受噪声影响，尤其难以处理遮挡。相比而 多视图几何原理和人们通过自己的两只眼睛立 言，多视图立体匹配在噪声和遮挡的处理上具有明 体地观察世界是类似的。我们知道，人类需要两只 [4, 5] 显的优势 ，一般可以得到更好的三维重建结果。 眼睛才能很好地识别物体的远近程度，这是因为人 目前基于多视图的深度计算虽然在原理上已经研 的两只眼睛看物体时的视线角度不一样，导致物体 究得比较清楚了，但由于实际情况比较复杂，要准确 29 专题