基于长序列图像三维重建技术研究.docVIP

基于长序列图像三维重建技术研究 　　摘要：提出一种基于长序列未定标图像的三维重建方法，并将其成功地应用于增强现实实例中。首先，基于传统KLT跟踪算法提出了一种针对序列图像的改进特征点匹配策略，通过特征点运动向量的预测减小了相应特征点的搜索范围，进一步根据相近特征点邻域窗口在透视畸变上的相似性大大提高了匹配算法的效率；在得到序列图像的匹配结果后，将传统基于仿射成像模型的测量矩阵（Measurement Matrix）保秩分解算法扩展到透视成像模型中，从而一次性得到整个场景的射影重建；进一步在摄像机自定标的基础上得到整个场景的三维欧氏模型和摄像机的成像矩阵。最后给出真实图像序列的三维重建实验结果，并成功地将其应用到增强现实实例中。 　　关键词：三维重建； 特征点匹配；保秩分解；自定标；增强现实?? 　　中图分类号：TP391文献标志码：A 　　文章编号：1001－3695(2007)05－0314－04 　　 　　0引言?? 　　 　　从图像中得到真实场景的三维模型是计算机视觉和虚拟现实中的重要研究内容，也成为近年来的研究热点[1]，而这方面的早期研究主要集中在摄像机的精确定标上[2]。目前基于图像序列的三维重建主要有两种策略：①顺序方法，即从两幅图像的匹配和重建开始逐渐增加新的图像直至整个序列[3, 4]。由于这种方法不能同时利用所有图像信息，常常会造成误差的累积。②先建立所有图像的匹配关系，即测量矩阵（Measurement Matrix），再一次性求解所有场景结构和摄像机的运动参数[5~7]。这种策略将所有图像同等对待，保证了误差的均匀分布。这种基于测量矩阵分解的方法由Tomasi等人[5]首先针对正射图像提出，Poelman等人[7]将其扩展到弱透视和平行透视图像中，Sturm等人[6]又将其扩展到透视图像中，但并没有讨论由于场景本身的相互遮挡而产生的缺失点问题。?? 　　文中给出一种基于长序列图像得到场景三维模型的解决方案，并验证其正确性和有效性。注意，实验中采用法国INRIA提供的图像序列（119幅），每隔4幅取1幅，即取第1,5,9,…,109,113幅作为测试图像序列。?? 　　 　　1特征点匹配?? 　　 　　如图 1所示，随着摄像机视点的变化，图像平面上相应特征点的邻域窗口会发生透视畸变，而且畸变的大小会随着基线的增加变得更加明显，这也是传统基于亮度相似性匹配方法在处理大基线图像时的难点所在。而如果将场景表面的局部面片近似认为是平面，相应邻域窗口之间的透视畸变可以用二维平面上的仿射变换来近似[8, 9]，如式(1)所示：?? 　　 　　1．1仿射迭代算法?? 　　 　　1．2特征点的运动估计?? 　　 　　1．3序列图像匹配?? 　　顺序得到任意相邻两幅图像的匹配结果后，就可以将这些图像连接起来，形成匹配序列。对于两幅图像可通过对极几何关系去除误匹配[11]，而对于序列图像则有更严格的约束条件，即三焦张量（Trifocal Tensor）去除误匹配，从而将相应特征点的搜索范围限制在很小的圆形窗口内[11]，通过该约束还可以重新得到那些在图像对匹配中漏掉的特征点，而三焦张量的估计同样是通过RANSAC算法估计得到的[11]。图 4给出了将第1、5、9幅图像连接后得到的匹配结果，共得到135组正确匹配。?? 　　按上述方法就可以将所有图像连接建立特征点的匹配序列，实验中要求保证每一个特征点至少在相邻的五幅图像中出现，不满足条件的特征点则丢弃。在实验图像序列（29幅）中共得到了647个这样的特征点。图 5给出了整个序列中所有特征点的匹配关系示意图。其中纵坐标表示图像序列，而横坐标表示特征点。?? 　　 　　2基于保秩分解的射影重建?? 　　 　　基于测量矩阵分解的重建方法首先由Tomasi针对正射图像序列提出[5]，Poelman又将其扩展到弱透视和平行透视图像序列中[7]。设空间点的齐次坐标为??X～??j（j=1,…,n）??，摄像机的成像矩阵为P??i（i=1，…，m??），所成图像点齐次坐标为??????ij??，则该成像过程可表示为?? 　　 　　2．1估计射影深度?? 　　 　　2．2填充缺失点?? 　　这一阶段的目的就是根据测量矩阵的秩4约束，寻找与之最“接近”且完全填充的矩阵，从而解决缺失点的填充问题，最后通过SVD分解得到场景的射影重建P和X。Jacobs针对仿射图像序列很好地解决了缺失点的填充问题[12]，本文将其扩展到透视图像序列中。?? 　　因为矩阵M的秩为4，因此其列（行）向量之间存在着很强的相关性，设其构成的4维子空间为G，如果M中存在完整的4列线性无关，那么就可用这4列作为子空间G的基，从而填充所有其他的未知元素。实际中一般