双目立体视觉x.ppt

31 2 Harris 角点检测算法的步骤： ? 2. ）为每一个点计算局部自相关矩阵 ? u(x,y) = [Ix(x,y)^2*W Iy(x,y)Ix(x,y)*W;Ix(x,y)Iy(x,y)*W Iy(x,y)^2*W]; ? 这里 *W 代表以 x,y 为中心与高斯模板 W 做卷 积，而这个模板的大小则需要你自己指定。 32 2 Harris 角点检测算法的步骤： ? 3. ）如果这个 u 的两个特征值都很小，则说 明这个区域是个平坦区域。如果 u 的某个特 征值一个大一个小，则是线，如果两个都 很大，那么就说明这是个角点。 Harris 提供 了另一个公式来获取这个点是否是角点的 一个评价： corness = det(u) - k*trace(u)^2; 33 2 Harris 角点检测算法的步骤： ? 4. ）这个 corness 就代表了角点值，其中 k 是你自己取的一个固定的变量，典型的为 [0.04,0.06] 之间。当然在求取了每个点的 corness 以后，最好再做一个极大值抑制， 这样的效果比直接设置一个阀值要好。 34 3 SIFT 尺度不变特征提取： ? 2004 年， David. Lowe 总结了已有基于不 变量技术的特征检测方法，正式提出了一 种基于尺度空间的，对图像平移、旋转、 缩放、甚至仿射变换保持不变性的图像局 部特征， 35 3.SIFT 尺度不变特征提取： ? 1 ） 尺度空间极值检测 David.Low 等人为了更加高效地在尺度空间检测到稳定的 特征点，在 1999 年提出利用不同尺度的高斯差分方程同 图像进行卷积，求取尺度空间极值，即 D(x,y,σ)=(G(x,y,kσ) - G(x,y,σ))*I(x,y)=L(x,y,kσ) - L(x,y,σ) 36 3 SIFT 尺度不变特征提取： ? 2 ）精确定位特征点的位置 当然这样产生的极值点并不都是稳定的特征 点，因为某些极值点响应较弱，而且 DOG 算子会 产生较强的边缘响应。通过拟和三维二次函数以 精确确定特征点的位置和尺度（达到亚像素精 度），同时可以去除低对比度的关键点和不稳定 的边缘响应点，以增强匹配稳定性、提高抗噪声 能力。 37 3 SIFT 尺度不变特征提取： ? 3 ）确定特征点的主方向 利用关键点邻域像素的梯度方向分布特性为关键点指 定方向参数，使算子具备旋转不变性。 在以特征点为中心的邻域窗口内采样，并用梯度方向 直方图来统计邻域像素的梯度方向。梯度直方图的范围是 0 ° ~360 °，其中每 10 °一个柱，总共 36 个柱。梯度方向 直方图的峰值则代表了该特征点处邻域梯度的主方向，即 作为该特征点的主方向。在梯度方向直方图中，当存在另 一个相当于主峰值 80% 能量的峰值时，则将这个方向认为 是该特征点的辅方向。一个特征点可能会被指定具有多个 方向（一个主方向，一个以上辅方向），这可以增强匹配 的鲁棒性。 38 3 SIFT 尺度不变特征提取： ? 4 ）生成特征描述符 首先将坐标轴旋转为特征点的方向，以保证旋转不变性； 接下来以特征点为中心取 16 × 16 的窗口（特征点所在的 行和列不取） 39 ? 特征点匹配： 1. 相关匹配； 2. 欧式距离； 6.4.1 基本方法 40 6.4.1 基本方法 1. 相关匹配； 第一幅图像特征点左邻域窗与第二幅图像特征点右 邻域窗进行相似度比较，并进行对称性测试，互相 进行相似度计算，只有当两个匹配集中的对应点完 全一致时，才视为有效匹配。 1 ）灰度差的平方和 ?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 1 0 1 0 2 )] , ( ) , ( [ ) , ( n y m x y y x x I y x T y x S 1 第 6 章 双目立体视觉 6.1 双目立体视觉原理 6.2 双目成象和视差 6.3 基于区域的双目立体匹配 6.4 基于特征的双目立体匹配 6.5 视差图误差检测与校正 2 立体视觉主要研究如何借助（多图象） 成象技术从（多幅）图象里获取场景中物体 的距离（深度）信息 6.1 双目立体视觉原理 3 6.1 双目立体视觉原理 六个模块 ? 六项工作 1. 摄象机标定 2. 图象获取 3. 特征提取 立体视觉借助不同观察点对同一景物间的视 差来帮助求取 3-D 信息（特别是深度信息）。所以 需要判定同一景物在不同图象中的对应关系 选择合适的图象特征以进行多图象间的匹配 4 6.1 双目立体视觉原理 六个模块 ? 六项工作 4. 立体匹配 根据对所选特征的计算来建立特征间的对应关系 ，从而建立同一个空间点在不同图象中的象点之 间的关系，并由此得到相应的视差图象 5. 3-D 信息恢复 根据得到的