全景图像拼接融合.doc

全景图像拼接融合算法研究 1 引言 随着计算机视觉、计算机图形学、多媒体通信等技术的发展，各类虚拟现实系统都力图构建具有高度真实感的虚拟场景，因此在背景图像及三维模型纹理图像方面都会选择真实图像作为素材，通过将不同角度的图像进行拼接融合获得广视角图像。因此，无缝平滑的图像拼接融合是构建逼真的模拟训练环境的重要基础。 本文对图像拼接融合算法进行了深入研究，力图构建可以满足各类虚拟现实系统需求的广视角图像。经验证，本文方法可以稳定高效得对多幅图像实现拼接融合，具有较高的实际应用价值。 2 图像拼接融合算法原理 2.1 图像拼接 为了实现相邻间有部分重叠的图像序列的拼接，需要首先确定这些图像序列之间的空间对应关系，这一步工作称之为图像配准。为了确定图像之间的对应关系，需要知道其相应的对应关系模型，一旦确定了图像之间的关系模型，则图像之间的配准问题就转化成确定该模型的参数问题。目前常用的一些关系模型有平移变换模型、刚性变换模型、仿射变换模型以及投影变换模型等。其中，刚体变换是平移变换、旋转变换与缩放变换的组合，仿射变换是较刚体变换更为一般的变换。仿射变换和刚体变换模型则又是投影变换模型的特例。投影变换关系模型可以用齐次坐标表示为： ……………………………………(1) ………………………………………… (2) 其中，投影变换矩阵M中各参数的意义如下：、、、表示尺度和旋转量；、表示水平和垂直方向位移；、表示水平和垂直方向的变形量。图像配准的实质便是求解投影变换阵M中的参数。目前对M求解的典型方法有：模板匹配法、基于图像灰度的配准法、基于图像特征的方法[1]等。 2.2 图像融合 求得两幅图像的最优投影变换矩阵M之后就确定了它们之间的变换关系。为了得到合成图像，还需要选择合适的图像融合方法来完成图像的拼接。图像融合的任务就是把配准后的两幅图像拼接成一幅无缝图像。一般分两步进行融合，第一步是图像的合并，将两幅图像拼接到同一个坐标空间内，使两幅图像成为一幅图像；第二步是拼缝的消除，去除拼接缝使两幅图像真正能融合成一幅图像。 图像融合的方法主要有基于图像灰度的融合算法、基于颜色空间变换的融合算法、基于变换域的融合算法等[2-4]，本文采用了基于图像灰度的融合算法。在基于图像灰度的融合算法中，常采用直接平均融合法、加权平均法、中值滤波法以及多分辨率样条技术融合法等。直接平均融合法是将配准后图像重叠区域内对应像素点的灰度值直接叠加再求平均，会导致最终的拼接图像中存在较为明显的拼接痕迹。加权平均融合法对重叠区域的像素值先进行加权后再叠加平均，可以使得重叠区域实现平滑过渡，同时消除拼接痕迹。中值滤波融合法是利用中值滤波器来处理重叠区域中像素值的不连续性，该方法可以克服图像细节模糊的现象，对有运动目标的场景拼接效果较好，但计算量较大。多分辨率样条技术融合法首先将图像分解成一系列具有不同分辨率、频率特性及方向特性的子带图像，然后在每个分解的频率域上将图像重叠边界附近加权平均，最后将所有频率上的图像拼合成一幅全景图像。 3 图像拼接融合算法详述 图像拼接方面，本文选用基于图像特征的方法，即首先利用简化的SIFT[5]算子提取相邻图像的特征点，然后采用近似最近邻的优先搜索算法查找最近邻特征点，并基于极线约束条件找出最佳的匹配特征点集，最后利用改进的随机抽样一致性(RANSAC)[6]算法鲁棒地估算出投影变换矩阵M。这种方法只提取图像的显著特征，大大压缩了图像的信息量，计算量小，速度较快，而且它对图像灰度的变化具有鲁棒性。算法步骤如下： ①根据置信概率和数据错误率，确定需要选择的抽样数量M； ②随机选取4对特征匹配对（任意3点不共线）； ③在选择的随机抽样中，选择两对匹配点对，对每一匹配点对，利用式(3.13)计算该匹配点对的特征值T，如果T不在阈值范围[T1,T2]内，就认为这对匹配点为误差匹配点对，返回②，否则，执行步骤④； ④线性计算变换矩阵M； ⑤计算每个匹配点经过矩阵变换后到对应匹配点的距离； ⑥设定一距离阈值ε（取特征点提取均方差的2.5倍数值），通过几何一致性检验，确定内点、外点，并在内点集合中重新估计M； ⑦找出满足每次迭代计算出的对应矩阵最多的特征匹配对，并利用这些特征匹配对计算出最终的变换矩阵M； ⑧为保证对多于3幅序列图像的拼接精度，最后采用最小化拼接图像重叠区域间的灰度平方和的方法[75]求精M。图像重叠区域间的灰度平方和的计算公式是： ……………………………… (3) 具体求解时，采用Levenberg-Marquarats算法（简称LM算法）[7]将匹配点的误差精度控制在0.1个像素之内。 在上述算法步骤中，假设正确匹配的点对占总数的比例为p，则随机抽取的4对匹配点对不全是正确匹配点对的几率为1-p4，抽