基于匹配点传播的三维重建及深度估计算法.docVIP

基于匹配点传播的三维重建及深度估计算法 　　摘 要 在计算机视觉中，从两幅或多幅图像中重建出稠密的深度图是一个相当重要且具有挑战性的问题，深度信息通常作为一个有价值的信息来源，促进诸多应用领域的发展。重建稠密深度信息的关键之处在于找到两幅图像中的对应点匹配，即多视角立体匹配。本文提出的方法中，我们预先提取图像中最初稀疏匹配点对，然后在此基础上进行全局传播。我们假设在图像局部区域中，深度信息的变化是有规律的。本文中，我们运用SLIC对图像进行分割，得到超像素块，然后在超像素块内对粗糙的深度图进行细化，修复。我们的算法，在精度上要优于传统的立体匹配算法，且适应性较强，可以应用于现实生活中拍摄得到的一组序列图像。 　　【关键词】立体视觉 深度匹配点传播超像素 　　1 引言 　　在计算机视觉领域中，图像的深度信息通常可作为一个有价值的信息，促进诸多应用领域的发展，如目标检测、目标识别、路径规划以及场景复原等。而从两幅或多幅图像中重建稠密的深度图是一个相当重要且具有挑战性的问题。 　　重建稠密的深度图的关键技术，在于如何判断出两幅图像中点与点的密集对应关系，即多视角立体匹配。近几十年来，该领域也一直被广大学者所研究。立体匹配，在计算机视觉领域中是一个重要的问题之一。研究表明，诸多问题导致多视角立体匹配问题是一个不易解决的问题，一个问题就是场景本身的属性导致的，例如无纹理区域、非朗博表面、反射和半透明，以及遮挡等不可避免的问题。还有其他与相机相关的问题：例如图像噪声、不准确的校准所产生的一系列错误。 　　近几十年来，许多优秀的算法致力于更好地解决多视角立体匹配问题。 　　Scharstein和Szeliski等[1]提出了立体算法的分类和分类方案，他们将不同的立体算法分为两大类：局部和全局算法。 在局部算法中，一个给定的图像像素的视差计算仅取决于在一个窗口中的图像的强度/颜色值。所有的局部算法都需要成本聚合（步骤2），通常利用成本聚合来达到隐含的平滑性假设。另一方面，全局算法提出明确的平滑性假设，然后解决一个优化问题。这样的算法通常省略了成本聚合步骤，而是寻求一个视差解决方案（步骤3），最大限度地减少全局成本函数。流行的全局方法有动态规划[2]，置信传播[3，4，5，6]以及图分割[7]。与局部算法不同的是，全局算法通过估计在其他像素的视差来估计某一个像素的视差。 　　大多数的成本聚合方法可以被看作是成本量的联合过滤。实际上，即使是简单的线性图像过滤器，如方波或高斯滤波器也可以用于成本聚合，但作为各向同性的扩散滤波器，它们往往会导致在深度边界处出现模糊。因此一些边界保持的滤波器，如双边滤波器[8]和图像引导滤波器[9]被引入到成本聚合中。Yoon和Kweon[10]将双边滤波器运用到成本聚合中，在Middlebury数据集[1]上产生了夺目的视差图，但是，他们的计算成本很高。为了解决计算问题，Rhemann等[11]提出引导滤波的使用，其计算复杂性取决于核大小。最近，Yang等[12]提出非局部成本聚合的方法，期望于核大小为整幅图像，通过在图上计算最小生成树，非局部成本聚合有着非常快的表现。Mei等[13]紧跟着非局部成本聚合的思想，使用分割树来强制视差一致性，可以得到更好的视差图。 　　前人的工作大多在于预先设定可能的视差范围，设计成本计算函数，然后对所有可能的视差计算成本函数，最后利用优化求解技术最小化匹配成本来计算最佳匹配，是一个优化类问题。 　　相反的，我们的工作在于依照简单的匹配，扩展和滤波： 　　（1）匹配：通过DSP-SIFT[14]来寻找特征并在多幅图像上匹配，在图像显著区域产生稀疏的匹配点对。 　　得到初始的匹配点对后，依照下面两步进行： 　　（2）扩展：利用图像局部关系，扩展初始匹配的点到周围的像素来获得一个稠密的点集。对稀疏点对进行准稠密化[15]。 　　（3）过滤：利用视觉一致性来去除一些错误的匹配点对。最后，利用立体视觉交叉投影技术有效地求解出初始深度图，由此，得到的深度是绝对深度信息。我们在此粗糙深度图的基础上，在超像素块上进行深度图的传播，最终获得一个细化的深度图。 　　2 准稠密化 　　2.1 种子点的选取和初始匹配 　　如图1所示，从两幅图像中提取特征点，采用类似传统的稀疏匹配算法进行匹配，得到初始的对应点对。本文中，我们采取SIFT的变形DSP-SIFT[14]来求解初始的匹配点对。SIFT特征，被设计出来为了减少由于光照和制高点引起的不同，同时保留辨别能力。有助于寻找相同的底层场景的不同视图之间的关系。DSP-SIFT点特征，除了空间位置上，还在不同的尺度上对梯度进行池化操作，将会得到自然可靠的二维点特征。因此，它可以解决大的视差问题，且我们认为该匹配得到的点对，是相