双目立体视觉的干理论问题研究及应用.pdf

摘要 摘要 双目立体视觉，是现代计算机视觉技术的重要研究分支；其目的是利用两个摄像机同时拍摄场 景中同一个三维物体，由二维图像恢复可见场景物体表面的三维几何信息。同计算机视觉中面对的 其他问题一样，双目立体视觉问题属于不适定的求逆问题。论文研究了双目立体视觉的若干理论问 题的求解方法及应用，即基于平面单应矩阵特征线的双摄像机贪婪标定算法；利用区域上下文特征 信息、自适应稳健非线性成本增强和基于分割自适应权重成本聚合的稠密局部初始立体匹配方法； 基于自适应权重策略视差校准和多方向权重化最小二乘拟合填充的贪婪视差估计方法；基于积分图 像的光照鲁棒不变特征和区域协方差描述子、欧氏对数测度协方差矩阵的稀疏场景快速匹配算法。 由于现代CCD光学制造工艺水平显著提高，摄像机标定可通过引入摄像机内部参数的部分先验 信息来标定内参数并提高标定效果。论文首先基于CCD摄像机模型和平面模板提出一种贪婪且新颖 的双摄像机线性标定方法：基于平面单应矩阵的特征线线性求解双日摄像机系统的内部参数和外部 参数。对多个平面单应矩阵，基于特征线构造有几何意义的成本函数；采用稳健总误差最小二乘拟 合的线性非迭代方法，计算双目摄像机的主点；引入像素单元纵横比的先验信息，再恢复双摄像机 的焦距。然后根据空间一致性约束关系，计算双摄像机的外部参数。基于仿真及真实图像的实验表 明，基于特征线简单且线性的双摄像机标定方法，能获得比较可靠的标定结果，具有较好的应用前 景。线性标定后，若双目摄像机需考虑非线性畸变模型，定义有效目标函数并基于最大似然估计思 想，采用Levenberg．Marquardt非线性优化算法获得可靠的非线性解。 稠密局部初始立体匹配，可视为立体场景图像之间致密地基于显著图像特征的对应问题，包括 基于局部特征的匹配成本计算、匹配成本增强、匹配成本聚合和局部最优化求解。论文提出四步的 如下初始立体匹配方案。首先，对立体图像中每一像素点，均利用对数极坐标得到的局部上下文结 构，并嵌入秩变换或对比度信息，构造鲁棒的局部特征描述向量；根据特征相似约束，致密地计算 匹配像素点对的特征描述子之间的差异，或利用独特性不相似测度DDSM，得到鲁棒初始匹配成本。 其次，将构造稳健匹配代价视为从含高斯噪声的信号中完全地消除宿外点，利用Geman．McClure (GMC)函数非线性归一化处理水平极线上的匹配成本，提出了一种新颖的自适应匹配成本增强方 法。然后，为了快速得到鲁棒的匹配成本，提出利用分割信息自适应权重来实现改进型的成本聚合 (从致密式权重化策略至仅在水平和垂直双方向上双通式迭代的权重化策略)，以此累积求和局部窗 口区域内的上述匹配成本。最后，基于优胜者全选局部优化和中值滤波得到初始视差图。Middlebury 标准立体数据集和真实立体图对的实验表明，提出的初始立体匹配算法，能得到较可靠的初始视差。 为了进一步改善匹配性能，提出基于贪婪策略和局部视觉特征的稳健视差估计方法。对初始匹 配视差，首先利用像素点局部邻域内视差出现频数，根据可变权重(如有无图像分割假设约束)，来 校准当前像素的视差值，以期得到不包含噪声、足够平滑、有精确边界的视差图。对即得的双目视 差图，做不可靠视差检测；利用分割约束贪婪填充窄遮挡。然后，可不考虑分割信息，利用极线最 dx--乘填充其余窄遮挡；但该方法对复杂遮挡区域效果不佳，于是提出无分割信息的多方向权重化 最小二乘拟合外插式地填充解决宽遮挡区域的歧义：最后，根据左右视差存在高度冗余，基于视差 映射方法进一步解决宽遮挡问题。标准测试图像对和真实图像对的实验表明，论文中贪婪策略视差 东南大学博士学位论文 估计算法，能有效提高立体匹配性能并改善匹配效果，得到可靠的最终匹配视差。与传统相应算法 相比，有无分割的双通式权重化视差校准，计算效率上有显著优势；同时，多方向自适应权重拟合 填充宽遮挡，填充质量上也有明显优势。针对临床医学疾病诊断应用和室内基于可见光人体测量与 识别(如人脸表面成像)等应用，论文展示了完整的稠密立体匹配算法在相应领域的匹配实验效果。 稀疏场景的图像匹配，是近年图像处理领域的热门研究方向之一；由于匹配场景的稀疏性，该 类方法计算成本相对较低。根据积分图像的概念及其性质，结合立体视觉可能的成像条件，论文利 用积分图像提出一种鲁棒的稀疏图像场景快速匹配方法。首先，基于积分图像快速实现光照鲁棒特 征变换提取，利用极大