计算机视觉应用--目标跟踪.pptx

目标跟踪10.2

10.2目标跟踪目标跟踪是计算机视觉领域研究的一个热点问题,其利用视频或图像序列的上下文信息,对目标的外观和运动信息进行建模,从而对目标运动状态进行预测并标定目标的位置。按照跟踪目标数量的不同可分为单目标跟踪(singleobjecttracking,SOT)和多目标跟踪(multipleobjecttracking,MOT)。目标跟踪融合了图像处理、机器学习、最优化等多个领域的理论和算法,是完成更高层级的图像理解任务的前提和基础。目标跟踪的基本任务是在一段视频序列中给定目标的初始位置,在后续每一帧中对目标进行持续的跟踪定位,在此过程中不会提供关于目标的颜色、形状、大小等先验条件,即跟踪算法只有通过在第一帧中对目标进行学习才能进行跟踪。

跟踪算法分为生成模型(generativemodel)和判别模型(discriminativemodel)。(1)生成模型。生成模型目标跟踪算法通过提取待跟踪目标的特征建立目标模型,利用生成的模型对待检测图像进行搜索,寻找与目标模型最匹配区域,该区域即为目标区域。因此,生成式目标跟踪算法主要框架包含目标选择、目标特征提取、目标建模、目标定位四个部分,图10-14所示为生成式目标跟踪框架。具体来说,人工或使用目标检测算法对第一帧图像进行处理,勾选出目标并标记,当前常用的目标检测算法有帧差法、背景差法等;然后对选中的目标的特征进行建模,通常关注目标的灰度特征、边缘特征、梯度特征、颜色特征、纹理特征等,常用的模型有混合高斯模型、贝叶斯网络模型、马尔可夫模型等;目标定位则是完成跟踪。生成模型目标跟踪算法采用特征模型描述目标的外观特征,再最小化跟踪目标与候选目标之间的重构误差来确认目标;生成模型目标跟踪算法着重于目标本身的特征提取,忽略目标的背景信息,在目标外观发生剧烈变化或遮挡时容易出现目标漂移(drift)或目标丢失。1.跟踪算法的分类10.2目标跟踪

(2)判别模型。判别模型目标跟踪算法将目标跟踪问题转化为寻求跟踪目标与背景间决策边界的二分类问题,通过分类最大化地将目标区域与非目标区域分别开来。因此,目标跟踪的准确性和稳定性很大程度上在于特征空间上目标与背景的可分性,如何在线建立能够适应目标和背景外观变化的判别模型是判别模型目标跟踪算法研究的关键。与生成模型相比,判别模型在应对目标的强遮挡及外观变化时,具有更高的鲁棒性。常用的判别模型目标跟踪算法有基于Boosting算法和支持向量机(SVM)的判别模型、基于随机学习的判别模型和基于深度学习的判别模型。10.2目标跟踪

2.目标跟踪面临的难点及对应的解决思路10.2目标跟踪(1)遮挡。遮挡是目标跟踪中较难挑战的因素之一,又分为部分遮挡和完全遮挡。解决部分遮挡通常有两种思路:第一种思路是利用检测机制判断目标是否被遮挡,从而决定是否更新模板,保证模板对遮挡的鲁棒性。第二种思路是把目标分成多个块,利用没有被遮挡的块进行有效的跟踪。对于目标被完全遮挡的情况,当前没有有效的方法能够完全解决。(2)形变。形变指目标表观的不断变化,通常导致跟踪发生漂移。解决漂移问题常用的方法是更新目标的表观模型,使其适应表观的变化。

10.2目标跟踪(3)背景杂斑。背景杂斑指的是要跟踪的目标周围有非常相似的目标对跟踪造成了干扰。解决这类问题常用的手段是利用目标的运动信息,预测运动的大致轨迹,防止跟踪器跟踪到相似的其他目标上,或是利用目标周围的大量样本框对分类器进行更新训练,提高分类器对背景与目标的辨别能力。(4)尺度变换。尺度变换指目标在运动过程中的由远及近或由近及远而产生的尺度大小变化的现象。预测目标框的大小也是目标跟踪中的一项挑战,如何又快又准确地预测出目标的尺度变化系数直接影响了跟踪的准确率。通常的做法有:在运动模型产生候选样本时生成大量尺度大小不一的候选框,或是在多个不同尺度目标上进行目标跟踪,产生多个预测结果,选择其中最优的作为最后的预测目标。

10.2目标跟踪(5)运动模糊。运动模糊指目标或摄像机的运动导致的目标区域变模糊,导致跟踪效果不佳。常用均值偏移跟踪方法进行跟踪,无须去模糊,利用从运动模糊中得到的信息就能够完成跟踪目标。(6)光照。在光照不均匀的复杂情况下获得的前景目标不完整、不准确,导致目标跟踪失败,常将RGB颜色信息与纹理信息以置信度相融合的方法来抑制阴影,提高运动目标跟踪在光照变换情况下的鲁棒性。(7)旋转。旋转一般分为平面内旋转和平面外旋转,平面内旋转是指目标在图像平面内发生旋转,平面外旋转是指目标在图像平面外发生旋转。通常在跟踪模块引入仿射变换,仿射变换能够根据变换的自由度参数旋转变换坐标系的位置或目标的边界框,实现准确的目标跟踪。

10.2目标跟踪(8)快速运动。快速运动指目标的运动大于20个像素