视频分割和融合技术的研究.pdf

A Dissertation Submitted to Shanghai Jiao Tong University for aster Degree A STUDY ON VIDEO SEGMENTATION AND COMPOSITION Author ：Pan Yuanhang Specialty: Computer Application Technology Advisor : Prof. Ma Li-zhuang School of Electronics and Electric Engineering Shanghai Jiao Tong University Shanghai, P.R.China Jan. , 2009 本文工作受以下项目资助 国家973 可视媒体的交互与融合处理子项目 （2006CB303105） 国家863 交互式高效动画创作技术与系统(2009AA01Z334) 国家博士点基金（20050248046）资助 视频分割与融合技术研究 摘 要 视频和图像的分割 ，指按一定的标准把图像或图像序列分割成多个 空间区域，从中分离出被关注的对象。在本文中的分割特指二值分割， 即前、背景分割。视频和图像分割在诸如数字娱乐、视频编码、视觉监 控、电视电话会议、视频数据库检索等多媒体应用领域，有着非常重要 的地位和作用，其研究具有重要的理论意义和广阔的应用前景。 视频融合是指将分割出的视频对象合成到另一段视频中，并使合成 的视频看起来真实自然。其关键是如何使合成得到的视频效果逼真，光 照一致、过渡自然，没有明显的人为衔接痕迹。视频的合成在诸如电影 业的素材重用、数字娱乐业的真实感体验等领域中都有实用价值。 论文首先介绍了分割和融合的基本概念和基础理论，综述与分析了 国内外的研究现状和主流算法；并在此基础上，在基于 MAP-MRF 模型的 Graph-Cut 方法的框架上,实现了一个交互的图像分割系统。并基于 Background Cut 技术，结合混合高斯背景建模、变化检测以及分水岭预 分割等方法进行改进，提出并实现了一种自动化的视频分割方案，并针 对光照变化等问题提出解决方案。 此外，在视频融合领域，本文提出并实现了一种基于色彩平衡和直 方图自适应调整的视频融合算法，能够快速、真实地完成视频对象在新 背景中的融合过程。 本文所述系统皆在 Windows XP 下，基于 OpenCV 图像处理库，使用 C++语言实现。实验表明，本文所提出的分割和融合算法的效果较好。 本文的创新点： 1.在Background Cut 算法的随机场框架的基础上，提出并实现了一 个基于稳定背景的自动视频分割系统，并在此之上进行效果和速度上的 改进：结合逐像素高斯混合模型，使用变化检测算法来获得前景训练样 本，以及将其引入到能量式的颜色项中；引入分水岭算法预分割对图割 算法进行加速；在后处理阶段提出多分辨率方案和边缘模糊算法对结果 进行优化；并提出的直方图匹配算法对背景光线变化进行鲁棒性的更新。 2.基于物体的物理属性，根据色彩原理，提出了一种基于自动色彩 平衡和HSV 空间