TLD的改进.pptVIP

TLD的改进 短期跟踪器：在执行逐帧跟踪时都假设没有完全的遮挡或者目标消失，如光流法 研究工作：集中在提高速度、精度或者开发更可靠的方法来延长跟踪器作用时间但这些研究都不直接设计发生跟踪错误后的处理。 长期跟踪器：要求跟踪器能够运行一个无限长的图像序列，因此跟踪器自身应具备一定的检测能力，这样所跟踪的目标被遮挡或者消失而导致跟踪失败的时候，可以利用检测器重新检测。 长期跟踪器需要考虑的问题： 目标消失后再次出现在视野中 目标外表发生变化，而检测器如果仅由初始目标外表信息训练得到，将导致后续跟踪错误。——自适应问题（逐帧更新和有选择跟新） 逐帧更新法以当前目标的最佳跟踪结果更新目标模型。如果精度不高会加速失败 有选择更新考虑到跟踪结果不总是正确的，因此只在跟踪所得目标与目标模型接近或者新的目标数据能通过半监督学习的方式被融入到目标模型中时才对模型进行更新。 改进1： 在TLD的跟踪器中采用Cell FoT +∑进行设计（原始的TLD跟踪器为：Grid FoT +FB+NCC） 改进2: 在TLD的检测器中引入Kalman滤波器的当前帧目标所在区域预估，缩小了检测器的检测范围，提高了检测器处理速度。 改进3： 在TLD检测器中加入了马尔可夫模型的方向预测器，增强了检测器对相似目标的辨识能力。 在TLD的跟踪器中采用Cell FoT +∑进行设计 TLD中的跟踪器采用了FoT的跟踪方法。FoT是指采用了多个独立的局部跟踪器来各自跟踪目标的一部分区域，然后综合各个局部跟踪器的跟踪效果来估计得到目标的运动。 FoT中，每个局部跟踪器被关联到所要跟踪的目标一部分区域，对该部分区域进行跟踪。 局部跟踪器的条件：所跟踪的区域在所有的图像序列中是可见的并且是简单的位移运动，所以不是鲁棒的。 改进的背景：需要一种机制能将跟踪失败的局部跟踪器剔除，这样可以仅适用能正确跟踪的局部跟踪器来估计目标的运动。 原始的TLD是使用NCC和FB误差来预测跟踪失败的局部跟踪器。 Grid FoT：局部跟踪器以网格状的形式均匀地分布在 所要跟踪的目标区域。 但是这种布置方式不能保证所有的局部跟踪器放置在适合跟踪的位置上，没有得到合适安置的局部跟踪器会因为跟踪错误而漂移离开网格，而Grid FoT在每次估算目标运动后，局部跟踪器需重置到原先在网格上的位置，因此那些之前没有安置在合适位置上的局部跟踪器会继续不能正确跟踪而发生漂移。 Cell FoT：强制每个局部跟踪器在其特定的单元中，这些单元覆盖了整个目标区域，允许局部跟踪器在其对应单元内发生漂移，从而可以在每个单元选择最佳的位置点作为跟踪点 上述改进的基本流程： 采用cell的方式在所要跟踪的目标区域布置一定量的局部跟踪器，局部跟踪器采用光流法跟踪其所在位置的局部图像区域，使用∑预测器判断各个局部跟踪器的跟踪效果，用跟踪成功的局部跟踪器的跟踪效果来估算出目标在图像中的位置和大小。 ∑预测器：领域一致预测器（Nh）、马尔可夫预测器（Mp）、归一化互相关预测期（NCC）组成。 计算速度更快：因为改进后的TLD中使用的∑预测器比原始的预测器少了一次光流运算。 选取每帧图像中目标的中心位置信息来构建Kalman滤波器中的状态变量和观测值： 系统状态量 xk = [px, py, vx, vy]T 观测量 zk=[px, py]T px和py分别代表目标中心在水平方向和竖直方向上的坐标分量 vx和vy分别表示目标在水平方向和竖直方向上的速度。 在实际视频序列中，相邻两帧间的时间间隔很短，可以认为目标在相邻两帧间做匀速运动，系统为线性模型。其状态转移矩阵和观测矩阵分别为 TLD中的检测器是基于窗口扫描的。采用Kalman滤波器的预估效果来缩小TLD的目标检测区域。 改进3：基于马尔可夫模型的目标运动方向预测 以水平方向为例： 定义状态空间为{0为左，1为右}。 马尔可夫模型假设当前预测状态只与上一刻的状态以及状态转移矩阵有关。 定义t时刻的转移矩阵为： 预测t+1时刻的目标运动方向为： 改进2：基于Kalman滤波的目标检测区域预估 式中，h0表示在0~t时刻，视频中目标向左的次数。 h11表示在0~t时间段，视频中目标上一刻和当前时刻都向右运动的次数 h01表示在0~t时间段，视频中目标上一时刻向左运动但当前时刻向右运动的次数。 目标向左（右）运动的判别依据是相邻中的目标中心位置在水平方向上的差值。 直方图（彩色） 超像素（把图像预处理成有意义的组成） condensation算法 Kalman滤波器是基于单个假设的建模。概率分布是单高斯的，不能表示表达多个假设 condensation算法是建立在称为粒子滤波器的一类更广泛的预估器的基础上 Thank you