用于目标跟踪的特征融合孪生网络算法研究.docxVIP

? ? 用于目标跟踪的特征融合孪生网络算法研究 ? ? 范东嘉，林名强，戴厚德，仲训杲*，赵 晶 (1.厦门理工学院电气工程与自动化学院，福建 厦门 361024；2.中国科学院福建物质结构研究所泉州装备制造研究所，福建 晋江 362216) 目标跟踪技术在计算机视觉领域得到广泛应用与长足发展.然而目标运动变化、背景杂乱、运动模糊等动态不确定性的问题，对现有目标跟踪方法提出了新的挑战.因此，改进目标跟踪方法提升算法性能已成为当前研究的热点. 目标跟踪方法通常可分为两大类，一类是传统相关滤波跟踪法，另一类是基于机器学习的跟踪法.前者是以目标相似度为跟踪衡量指标，如Bolme等[1]提出的MOSSE(minimum output sum of squared error filter)方法将相关滤波首次应用于目标跟踪任务，其基本思想是通过提取目标特征训练相关滤波器，并利用快速傅里叶变换加速计算效率.Henriques等[2]提出的KCF(kernelized correlation filters)方法针对CSK[3](circulant structure kernel)算法使用灰度特征的不足，通过引入多通道特征，利用目标周围区域循环矩阵获取正负样本，有效提高算法的鲁棒性.成悦等[4]提出加权特征融合与置信度模型及尺度更新机制相结合的方法，加强算法的鲁棒性.然而上述相关滤波方法存在固有缺点，当目标与背景非常相似时，算法无法实现相似度评价，从而导致目标跟踪失败. 当前，作为机器学习应用最广泛的深度学习方法，在目标跟踪领域表现优异，特别是孪生网络利用深层网络结合多样本，其特征丰富程度远超传统学习方法，因此，孪生网络已成为目标跟踪问题的主流研究方法.Berinetto等[5]提出SiamFC(fully-convolutional siamese networks)算法，奠定了孪生网络算法的基本思想，该算法使用两个完全相同的网络结构分别对模板和搜索图像进行特征提取，进而对特征图进行互相关性操作，得到目标在搜索图中的跟踪位置.然而SiamFC跟踪算法使用浅层AlexNet[6]网络，目标特征提取不充分，同时也难以应对目标尺度变化情况.因此Li等[7]将RPN(region proposal network)网络加入到孪生网络框架中，在多个检测区域设置多个锚框，并对这些锚框进行分类和回归，使回归锚框更接近真实框，有效解决目标尺度变化跟踪问题.为了充分提取目标特征，SiamRPN++[8]算法采用深层ResNet-50作为特征提取主干网络，但是随着网络的加深会带来空间和通道信息冗余的问题.为了更好拟合目标真实框，Wang等[9]提出SiamMask算法，将网络训练得到的掩膜外接矩形作为目标跟踪框.Siam R-CNN[10]方法结合分割网络，对目标进行二次分割处理实现目标跟踪.SiamBan[11]方法使用无锚框策略克服跟踪锚框的限制，使跟踪框拥有更大的自由度. 考虑到，一方面深度学习方法提取目标特征信息时会产生多维特征空间和通道，仅少部分信息对目标跟踪任务起正向作用，大部分是冗余信息，不可避免增加方法的运算负担；另一方面，孪生网络通过主干网络末端输出层提取目标特征，再进行相似度计算，由于深层特征只包含稀疏语义信息，分辨率较低，不利于目标精确定位.为此，针对目标特征相似度计算跟踪问题，本文将浅层特征和深层特征相融合，提升网络对目标特征的辨识能力，同时引入注意力机制，降低冗余信息，加强网络对正样本的聚焦，提高目标跟踪的鲁棒特性. 1 SiamMask 三分支目标跟踪网络结构 SiamMask网络框架如图1所示，该跟踪方法主干网fθ采用深层ResNet-50网络，结合膨胀卷积进行特征提取.SiamMask框架对模板图片和搜索图片使用两个结构相同的网络构成孪生网架构，并使用深度互相关操作计算模板图片和搜索图片的相似度，图中用d表示，网络末端包含3个网络参数相互独立的分支结构，分别为分割掩码(mask)分支、边框回归(box)分支、前景/背景分类(score)分支，各分支卷积操作分别为hφ、bσ和Sφ.该方法在边框回归和前景/背景分支中使用锚框机制，前景/背景分支输出特征图的每一个图像包含2K个数值，其中每两个数值为一组，表示该图像的K个候选框属于前景和背景的概率；而边框回归分支输出特征图每个位置对应4K个数值，其中每4个数值为一组，表示该位置K个候选框的偏移量.分割掩码分支生成17×17×(63×63)形状特征图，其中每个位置包括一个63×63维度向量，最后将目标所在位置映射为二值分割掩码图，实现目标和背景的像素级分类.SiamMask算法在目标跟踪任务中表现优异，但其网络结构依然存在不足：1) 使用加深的特征提取网络虽然能获得更加丰富的