一种多传感器时间空间配准的计算框架.docxVIP

一种多传感器时间空间配准的计算框架 1 f03gj/3gs1c 图像的映射是计算机视觉和模式识别领域中的一个重要课题。在遥感、医学成像和多传感器融合的目标识别方面具有重要的应用价值。当前的研究主要集中在单幅图像的配准方面。有关单幅图像配准方法见文献、。单幅图像配准需要解决的问题是两幅图像在空间域上的对应关系。然而在实际应用中,有时需要同时考虑两幅图像在时间域上的对应关系,这反映在对两个图像序列进行配准的问题上。例如,多传感器目标识别中,利用可见光和红外传感器对运动目标进行图像采集而分别得到两个图像序列。在进行融合目标识别之前,首先需要对这两个图像序列进行配准。与单幅图像的配准相比,序列图像的配准不但需要求解两个图像序列之间的空间变换关系,而且还要求解不同序列的两帧图像在时间上的对应关系。也就是说,序列图像之间的配准不仅需要解决空间上的配准问题,而且还需要解决时间上的配准问题。与用于单幅图像配准的方法相比,用于序列图像的配准方法要少得多。比较典型的几种方法如下: (1)Sharma等人的方法 首先配准来自两个图像序列(记为S1和S2)的第1帧图像(记为f1和g1)。然后,采用图像序列帧与帧之间的图像配准方法(例如文献中的方法)完成单个序列图像帧与帧之间的图像配准。对于不同序列的对应图像之间的配准问题,例如,对S1的第i帧图像fi和S2的第j帧图像gj进行配准时,则可利用fi和f1之间以及gj和g1之间的空间变换关系来解决。此方法的前提是f1和g1在时间域上的对应关系为已知。 (2)Stein的方法 用两台计算机分别处理两个静止相机输出的序列图像。对于每个图像序列,采用自适应跟踪方法提取目标的质心(x,y),并根据计算机时钟为每个目标质心加一个时间标志t。这样,生成两个列表T和T′。T和T′的每个元素分别是一个3元组Ti(x,y,t)和T′j(x′,y′,t′)。由于计算机时钟是已知量,所以t和t′也是已知量。将T和T′中所有满足|t-t′|t0(t0是一个小阈值)条件的元素进行组合,假设共有M对组合。利用LMS(最小均方差)算法从这M对组合中经过一定次数的筛选,挑选出匹配最好的一部分组合计算两个图像序列的空间变换关系,作为粗配准结果,然后,采用基于区域的方法再对粗配准结果进行精配准。 (3)Caspi等人基于特征的方法 该方法分为以下几个步骤: ① 对图像序列中运动目标的特征进行提取和跟踪,生成运动轨迹(trajectory); ② 将运动目标的轨迹与静止的背景区分开来; ③ 建立两个图像序列运动轨迹之间的初始对应关系,对运动轨迹进行配对(pairing),这可以结合运动轨迹的形状等信息来进行; ④ 随机选取一对对应的运动轨迹,通过迭代的方法同时计算两个图像序列在时间和空间上的对应关系P=(Pspatial,Ptemporal); ⑤ 用P配准所有对应的运动轨迹。统计经过配准后二者之间的距离小于给定阈值的运动轨迹的对数(为简便起见,称满足此条件的一对运动轨迹与P关联),并以此作为P的评价标准,与P关联的运动轨迹的对数越多,P就越好; ⑥ 重复第4步和第5步N次; ⑦ 选择最好的P; ⑧ 利用所有与P关联的成对运动轨迹对P进行细化。 在第4步和第8步中所求的P满足: Ρ=argminΡspatial,Ρtemporal∑Τ(∑t∈Τ‖p′(Ρtemporal(t))-Ρspatial(p(t))‖2)(1) 式中,p(t)表示t时刻某条运动轨迹T在图像中的坐标点,Ptemporal(t)表示对t用Ptemporal进行时间变换后的结果,p′(t′)表示与T对应的另一条运动轨迹t′时刻(t′=Ptemporal(t))在图像中所在位置的坐标,Pspatial(p(t))表示对点p(t)用Pspatial进行空间变换后的结果。 在计算P时,首先固定Ptemporal计算Pspatial,然后固定Pspatial计算Ptemporal,如此几次,得到P。 该方法的优点是将Ptemporal和Pspatial作为一个整体同时计算,空间配准精度可到达亚像素级,时间配准精度在1帧以内(亚帧级精度)。第3步是该方法的关键。如果运动轨迹的初始配对错误,必然影响计算结果。Ptemporal的数学模型可表示为 Ρtemporal(t)=st+Δt(2) 式中,s为两个图像序列的帧频之比,是一个常数。其中的未知量是Δt。在计算P时,首先固定Ptemporal,也就是固定Δt。给出一个时间段,在这个时间段里取整数值赋给Δt(用穷举法)。可是,在没有先验知识的情况下选取一个合适的时间段并非易事。在文献中没有提及如何选取这个时间段,然而,这个问题却十分关键:如果时间段过窄,有可能根本找不到正确的Δt;而如果时间段过宽,那么Δt的可能取值就有很多,又会影响算