图像特征的非刚性匹配_Ji_ZHAO_2016_10_12.ppt

小结 建议的适用范围：误匹配比例高的时候（遥感、红外、异质图像）；无法提供变换模型的时候（例如，存在非刚性变形、相机的内参未知）；需要一个快速的特征匹配算法，并且不需要求解变换函数的时候。 对误匹配非常鲁棒 、 计算高效、参数不需要调整（小数据集上调好参，以后从未变过） 适用于图像、点云、mesh；还可以用在非图像的场合。 代码开源，有C++/openCV版、matlab版。 局限性：需要求解几何变换的时候，只能作为一种预处理方法。正确匹配数量太少（少于20左右）的时候，效果不能保证。图像中物体运动太大时，只能发现一组匹配。 * 参考文献 Ji Zhao, Jiayi Ma, Jinwen Tian, Jie Ma, Dazhi Zhang, “A robust method for vector field learning with application to mismatch removing”, IEEE CVPR, 2011 Jiayi Ma, Ji Zhao, Jinwen Tian, Alan L. Yuille, Zhuowen Tu, “Robust point matching via vector field consensus”, IEEE Trans. IP, 2014. * Thank you！ * * 解释一下，什么叫场？ * * LS-SVM，kernel ridge regression * * * * * * * 图像特征的非刚性匹配 * Ji ZHAO 2016.10.12 特征匹配 任务： 给定2幅图像（或2D点集、点云、3D mesh等）的稀疏特征点和描述子, 要求建立特征点之间的对应关系. * 特征匹配的应用 * 三维重建 / SLAM 图像拼接 闭环检测 三维目标的识别 特征匹配的常用框架 Step 1. 提取特征点及其描述子，生成初始匹配。 Step 2. 根据初始匹配求解特征之间的变换（刚性、相似、仿射变换），并区分出正确匹配和错误匹配。 2D-2D图像特征匹配的经典解法：RANSAC+八点法、五点法 非刚性匹配：图匹配、拟合一个变换函数（例如vector field consensus、 RPM-L2E）。 图像特征：SIFT、SURF、BRISK、BRIEF、ORB … 点云：shape context、Spin-Image、FPFH … Mesh：meshDoG/meshHoG … 生成初始匹配：最近邻、KD-tree、FLANN、vocabulary tree … * 刚性匹配 vs 非刚性匹配 * 刚性匹配 非刚性匹配 需要一个参数化的模型刻画正确匹配之间的关系。例如，相似变换、homography、对极几何 通常没有参数化的模型。而是定义一些能量函数来表征形变的大小，融入先验信息。 经典解法： RANSAC、八点法、五点法 图匹配、拟合变换函数/向量场 需要精确推算几何信息的场合。 例如，估计相机的姿态 用于不需要精确几何、或者无法得到精确的几何模型的场合。例如，场景存在变形、图像拼接、图像检索、机器人的导航。 如果算法够快，可以用作前处理、后处理，把outlier的比例降低。 非刚性匹配——没有模型为何能work？ 做一个实验： 右图给出了图像之间的特征点匹配；箭头的头部和尾部分别代表匹配特征在两幅图中的位置。 能猜出哪些图对应正确的匹配吗？ * * 非刚性匹配——利用先验信息 自然界中“光滑”的向量场 * 特征匹配对应的向量场通常是“光滑的”。 自然界存在很多这样的“光滑”向量场。 * “不光滑”的向量场 我们的工作：向量场一致性算法 利用向量场的光滑先验，从具有outlier的样本中寻找向量场 f 的鲁棒估计，并且用于图像的特征匹配。 方案：将outlier考虑到概率模型中 [CVPR’11, TIP’14] - 向量场一致性算法（Vector Field Consensus, VFC） * 基本思想示意图 SIFT 匹配以及对应的位移场 (蓝: inliers; 红: outliers). - Inliers: 光滑 - Outliers: 杂乱，比较随机 - 向量场插值: 根据带有outlier的样本，拟合光滑的向量场 - 鲁棒的向量场插值、误匹配消除问题是对偶问题。解决了其中一个，另一个自然就解决了。 * 问题形式化 给定向量场的样本集合 , 该集合存在噪声和野值点, 目标是寻找一个向量场 f 能够解释潜在的 inlier 样本, 同时区分出 outlier 样本. * 基本假设与模型 正确的匹配是由“光滑”的向量场产生的，带有高斯噪声；错误的匹配是均