第六章_影像匹配_第2次课概述.ppt

SIFT特征匹配结果 三维点云 原始立体像对 匹配效率：左、右影像提取的特征点数分别为41577，39743，核线匹配成功点数5089，核线匹配时间50s SIFT特征匹配应用 SIFT特征匹配结果 三维点云 原始立体像对 左、右影像提取的特征点数分别为53493，55293，核线匹配成功点数8295，核线匹配时间86s 图3.35 旋转180°影像特征匹配结果 旋偏角37度影像匹配 SITF特征匹配 横滚角12度影像匹配 回顾SIFT算子的主要特点： 1) SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性； 2) 独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配 ； 3) 多量性，即使少数的几个物体也可以产生大量SIFT特征向量； 4) 高速性，经优化的SIFT匹配算法甚至可以达到实时的要求； 5) 可扩展性，可以很方便的与其他形式的特征向量进行联合； 影像匹配存在以下两个问题。 （1)搜索范围的确定和匹配策略 （2）匹配点粗差的剔除 七 影像匹配策略 七 影像匹配策略 常用的约束条件主要有以下四种： 相容性约束 相容性约束是指立体像对上的两个匹配基元应是由同一物体投影产生的。 (2)唯一性约束 在任何时刻位于某一物体表面上的一个给定点在空间只有唯一的位置 。 (3)连续性约束 因为物体表面一般是光滑的，匹配得到的视差值的变化在图像中几乎处处平滑，除了在物体边界处的深度不连续的地方除外。 (4)核线约束 对立统一的影像匹配策略 (张祖勋 院士 2007): 1) 增大匹配的搜索范围，以确保同名点位于搜索范围内 2) “物体表面连续光滑”的假设在宏观上不成立，应保证所有目标点的匹配之间的独立性，即每个目标点的搜索范围应均等 . 3) 在大范围搜索情况下，为了提高匹配的速度，并保证匹配的成功率和可靠性，应采用基于多级金字塔影像和由粗到细的匹配策略. 4）几何约束条件与局部连续光滑约束条件依然是必要的，约束条件与独立性原则的对立统一应用是十分关键的. 利用Wallis滤波进行影像增强 在左影像像上利用规则格网提取特征点 创建多级金字塔影像 在顶层金字塔影像上进行影像相关 在底层金字塔影像上先进行整像素相关， 最后利用最小二乘匹配进行“精匹配” 相对定向 在下层金字塔影像上进行核线匹配 是否到达最底层金字塔 是 否 原始影像转灰度影像 影像立体匹配策略与流程 …… …… 立体匹配示流程 特征点 金字塔影像 最小二乘匹配 对立统一的匹配策略 A A’ B B’ C C’ 图3.18　因物体遮挡而造成视差断裂的立体像对 图3.19　“匹配点之间独立性原则”对“视差断裂”影像的适应性 对立统一的匹配策略 A A’ B B’ 左右视差501像素 左右视差 -196像素 图3.20　前景与后景深度差约600m的立体像对 图3.21　由粗到细”的多级金字塔匹配策略对“大范围搜索”成功率的保证 * * * 第五节 特征匹配---SIFT算子 《摄影测量学》第六章 SIFT算子 影像匹配策略 主要内容 SIFT(Scale Invariant Feature Transform)算子最早由D.G.Lowe于1999年提出，但直到2004年D.G.Lowe才对该算子做了全面的总结，其主要特点： 1) SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性； 2) 独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配 ； 3) 多量性，即使少数的几个物体也可以产生大量SIFT特征向量； 4) 高速性，经优化的SIFT匹配算法甚至可以达到实时的要求； 5) 可扩展性，可以很方便的与其他形式的特征向量进行联合； 一 尺度空间的极值探测 二 关键点的精确定位 三 确定关键点的主方向 四 关键点的描述 SIFT算子主要步骤： 五 寻找最临近点（匹配） 一 尺度空间的极值探测 尺度空间(scale space)思想最早由Lijima于1962年提出，直到二十世纪八十年代，Witkin和Koendernk 1984等人的奠基性工作使得尺度空间方法逐渐得到关注和发展。 尺度空间的基本思想是：在视觉信息(图像信息)处理模型中引入一个被视为尺度的参数，通过连续变化尺度参数获得不同尺度下的视觉处理信息，然后综合这些信息以深入地挖掘图像的本质特征。 1.1 尺度空间 Koenderink和Lindeberg证明： 高斯卷积核是实现尺度变换的唯一的线性核。 二维高斯函数定义如