在得到双目立体视觉中一幅图像的sift特征描述子.ppt

基于SIFT特征匹配的双目视觉图像识别定位系统研究 内容结构 一、课题研究背景 利用视觉系统获取环境信息，视觉是最重要的感觉能力； 选择合理的匹配特征, 以克服匹配准确性与恢复视差全面性间的矛盾； 选择有效的匹配准则和算法结构, 以解决存在严重灰度失真、几何畸变(透视、旋转、缩放等)、噪声干扰、特殊结构(平坦区域、重复相似结构等) 及遮挡景物的匹配问题； 找到目标工件——识别；判断出工件的三维位置和姿态——定位；指导机械手的抓取。 二、双目摄像机标定 双目立体视觉标定原理 畸变模型 本文采用非线性摄像机模型,即针孔摄像机加上镜头畸变补偿,如下图所示。 其中（ ，）为畸变矫正之后的像素坐标，即标准像素坐标，( ， )为测量值，( ， )为畸变偏离值，通常只取第一项， ， ， 为镜头畸变参数。 摄像机简化畸变模型可表示为 ： 改进Tsai两步法标定 预先标定的摄像机参数 摄像机参数的标定先求得部分摄像机的参数,如：图像纵横比 , 主点坐标( , ) , 再利用径向排列约束求解大部分的外参数( 5个) , 最后引入畸变模型,通过事先求得的部分摄像机参数,线性地求解其余的摄像机参数, 如:畸变因子 (内部参数) ,平移分量 。 对于每一个标定点,已知其世界坐标和对应的图像坐标就可以列出一个方程, 取多个标定点(大于5个) , 就可以利用最小二乘法求解出方程组。 其中 ， ， ， 联立以上两个方程, 利用最小二乘法即可同时求解出各参数。 标定过程 像素坐标提取 世界坐标的获取 标定结果 标定结果分析 （1）X坐标的最大绝对误差为0.9590 （mm），Y坐标的最大绝对误差为0.3491（mm）；以上均满足标定要求不大于1mm。 （2）利用基于畸变模型的改进Tsai两步法，可以满足标定和机器人抓取的精度需要（机器人抓取要求误差不大于5mm）。 误差的来源主要有：摄像机本身的物理特性、视场范围的大小对拍摄图像的影响等。 三、SIFT特征提取 SIFT算法首先在尺度空间进行特征检测，并确定关键点(Keypoints)的位置和关键点所处的尺度，然后使用关键点邻域梯度的主方向作为该点的方向特征，以实现算子对尺度和方向的无关性。一幅图像SIFT特征向量的生成算法总共包括4步： SIFT特征提取结果 四、基于SIFT算法的工件图像匹配 立体匹配概念与分类 立体匹配的四个关键要素 算法框架 极线几何 沿极线搜索结果 SIFT匹配算法结果分析 立体匹配概念与分类 立体匹配概念 立体匹配是寻找同一场景在两台或者多台摄像机从不同视角拍摄的二维图像中的对应关系。 立体匹配分类 区域匹配、特征匹配、相位匹配 立体匹配的四个关键要素 算法框架 极线几何 极线几何关系在数学上可以用基础矩阵来表示。 8点法——求解基础矩阵F 已知左图像上一SIFT特征点 沿极线搜索结果 SIFT匹配算法结果分析 五、目标识别定位与三维重建 模板匹配原理 基于模板匹配的工件识别定位 工件的三维空间定位(三维重建) 模板匹配原理 基于模板匹配的工件识别 工件定位 工件的三维空间定位(三维重建) 六、双目立体视觉工件抓取系统与试验 抓取系统硬件设备 工件抓取控制系统 机器人抓取试验 抓取系统硬件设备 GRB-400型四自由度工业机器人 GXYZ-3030型三维数控平台 HV1302UC数字摄像头 硬件连接 实验设备 控制界面 抓取过程 七、总结展望 研究了有关双目立体视觉系统的标定的问题。分析了畸变模型，选择改进的Tsai两步法标定方法，并进行了理论上的推导，给出了标定实验结果。结果表明，该标定方法考虑摄像机畸变，能够满足抓取的精度需要。 引入图像处理中的点特征提取和匹配问题，应用能够抵抗光照、旋转、缩放变化的SIFT特征匹配算法完成这一过程，并应用极线几何原理将二维搜索降低为一维搜索，提高匹配率，减少匹配时间。 应用获取实时模板的模板匹配算法识别出目标工件，应用标定结果和立体匹配结果进行三维重建，完成目标工件的三维实际位置的计算。 根据实际工作环境，构建工件抓取系统。该系统由视觉系统、三维数控平台、执行机构和控制系统组成。利用VC++、HALCON和MATLAB等编程环境对整个系统进行软件开发，完成系统构建。通过整体试验及分析，实现了工件的识