多摄像头多目标跟踪技术研究-模式识别与智能系统专业论文.docx

II II A DISSERTATION PRESENTED TO SHANGHAI JIAO TONG UNIVERSITY IN PARTIAL FULFILLMENT OF THE REQUIREMENTS FOR THE MASTER DEGREE Study On Algorithm About Multiple Targets Tracking Via Multiple Cameras By Tian Peng Supervised Assoc. Prof. Yue Zhou In Institute of Image Processing and Pattern Recognition Shanghai Jiao Tong University December，2009 III III 多摄像头多目标跟踪技术研究 摘 要 本文所说的目标跟踪（Target Tracking），指的是视觉目标跟踪 (visual tracking)，它的任务是研究如何从连续的视频图像中分析感兴 趣目标的运动状态。目标跟踪是当前计算机视觉领域的一个重要且活 跃的研究课题，是一项包括模式识别、图像处理、概率与统计推理、 随机过程、系统状态估计等多门学科交叉的前沿课题。 随着目标跟踪技术的不断发展，出现了很多成功地应用于实际生 活的方方面面的目标跟踪系统。同时由于实际需求，如何进行多目标 跟踪成为迫切需要，于是出现了多目标跟踪(Multiple Target Tracking， MTT)的概念。多目标跟踪已经成为视觉跟踪研究课题中的热点和难点。 在大多数情况下，由于摄像头自身的视野限制，故而不可能通过 单个摄像头观测整个兴趣区域。因此，为了监控宽阔区域的运动目标， 人们需要一个多摄像头分布式目标监控系统。 显然，多摄像头多目标跟踪技术无论是在在学术研究领域，还是 在工程应用中都具有非常重要的意义。 本文主要研究了多摄像头多目标跟踪课题中的三项关键技术：目 标检测、目标跟踪和多摄像头协同。概括起来主要包含以下三个方面 的研究和创新： (1) 目标检测技术。介绍了当前目标检测技术的发展状况，并重点分 析了混合高斯模型（GMM）背景建模目标检测技术与核密度估计 PAGE PAGE VI 前景背景建模目标检测技术的优缺点，在此基础上，提出了一种 基于时空域和运动特征的目标检测技术，实验结果证明，该技术 具有抗噪性强且速度快的优点。 (2) 多目标跟踪技术。分析了多目标跟踪相对于单目标跟踪的难点， 提出了采用联合状态的粒子滤波器的多目标跟踪算法；然后介绍 了在联合状态的粒子滤波跟踪框架下，如何利用马尔可夫链蒙特 卡罗（MCMC）采样方法进行粒子采样，从而保证跟踪的实时性， 以及如何利用马尔可夫随机场（MRF）模型和外观模型处理多目 标跟踪时出现的目标遮挡问题。相关的实验数据证明了在联合状 态的粒子滤波框架下，利用上述方法可以较好地解决多目标跟踪 问题中的实时性和目标遮挡问题。 (3) 多摄像头协同技术。介绍了多摄像头间的目标位置映射方法，提 出了一种利用 SIFT 特征提取算法和虚拟摄像机进行自动提取标定 点的算法；然后介绍了多摄像头间目标一致性匹配问题；最后给 出了一种有效的多摄像头协同分配算法。 关键词：多目标跟踪，目标检测，粒子滤波，马尔可夫链蒙特卡罗， 马尔可夫随机场，外观模型，多摄像头协同 Study On Algorithm About Multiple Targets Tracking Via Multiple Cameras ABSTRACT The concept target tracking stated in this paper, which exactly means visual target tracking, has the main task to study how to analyze the interesting targets movement status from continuous images or videos. Target tracking is one of the important and hot issues in computer vision. It is an active research topic which concerns pattern recognition, image processing, probability theory and statistical inference, random process, and system state estimation. With the development of target tracki