基于Camshift和Kalman滤波混合的视频手势跟踪算法.docVIP

基于Camshift和Kalman滤波混合的视频手势跟踪算法* ：本文提出了一种基于Camshift和Kalman滤波混合的跟踪算法，实现了对视频图像中动态手势的跟踪。在跟踪过程中，Camshift利用手势的颜色直方图模型，将图像序列通过一个肤色概率查找表转换为肤色概率分布图，结合运动信息和肤色概率分布，初始化一个搜索窗的大小和位置，并根据上一帧跟踪的结果自适应调整搜索窗口的位置和大小，从而定位出当前图像中手势的中心位置。在Camshift算法基础上利用Kalman滤波对搜索窗口进行运动预测。实验表明，该算法快速准确可靠，并且较好地处理了跟踪过程中大面积肤色干扰问题，对复杂场景的检测与跟踪也取得了较好的效果。同时，该算法还适用于其它具有特定颜色目标的跟踪。关键词：滤波手势跟踪颜色概率分布搜索窗：：Video Hand Tracking Algorithm Based on Hybrid Camshift and Kalman Filter LUO Yuan, LI Ling, ZHANG Bai-sheng, YANG Hong-mei (Research Center of Intelligent System and Robotics, Chongqing University of Posts and Telecommunications, Chongqing 400065, China) Abstract: This paper presents a tracking algorithm based on hybrid Camshift and Kalman which implements dynamic hand tracking in the video. In the process of object tracking, for each video frame，by using the object histogram model, Camshift converts the raw image to a flesh color probability distribution image via a flesh color probability table. Considering the hand motion and flesh color probability distribution，the size and location of a search window are initialized. Computed information is used previously to adjust current search window’s size and location, then the location of the hand are found. Motion prediction of the search window using Kalman filter is devised. Experimental results show that this algorithm is fast, accurate, and robust. It can not only deal with the skin color interference problems, but also deal well with the track of complex background. And more, it tracks objects with special color． Keywords: Camshift; Kalman filter; hand tracking; color probability distribution; search window 0 前言由于手势具有自然、直观和易于学习的特点，手势识别和跟踪成为人机交互和计算机视觉领域及数字图像处理领域一个迅速发展的重要方向。手势跟踪的方法很多，主要有基于肤色信息的方法、基于运动信息的方法、基于运动模型的方法等。Camshift算法(Continuously Adaptive Mean-Shift)是一种基于颜色信息的方法，可以对具有特定颜色的目标进行跟踪。它是Mean-shift的修改算法，克服了Mean-shift不适合实时跟踪的缺点。Camshift算法计算量小，在一些典型的环境约束下(如背景简单，只包括手和手臂的视频)，能够取得很好的跟踪效果，但当解决复杂动态变化背景下手势跟踪问题(如视频监控)时，由于该算法对运动物体不做任何预测，不能解决大面积肤色干扰问题，特别是当手和人脸运动轨迹交叉时，导致跟踪失败