运动估计与高斯混合模型的图象稳定技术研究-硕士论文答辩稿.pptVIP

运动估计与高斯混合模型的图像稳定技术研究 Motion estimation and Gaussian mixture models for image stabilization 视觉与智能系统实验室 赵 猛 指导老师：朱玉文 副教授 贾云得 教 授 2003.2.28 提纲 研究背景 国内外发展现状 数字图像稳定 运动估计 运动补偿 研究背景 基于运动平台的视频监控 可穿戴系统 视频传输编码 日用的视频获取设备 国内外发展现状 基于远方地平线特征 基于DFT滤波 基于色彩配准 基于2.5D运动估计和惰性滤波 概率估计框架下的卡尔曼滤波 提纲 研究背景 国内外发展现状 数字图像稳定 运动估计 运动补偿 数字图像稳定(解决方案) 数字图像稳定(关键技术) 运动估计是估计帧间的运动参数，主要是运动模型的选择和图像运动的检测。首先需要选择一定的运动模型，然后在此基础上计算和估计摄像机的运动参数。 运动补偿是根据运动估计的结果计算出全局的变换参数，或者说是去除不想要的(unwanted)运动，使观察者看起来有摄像机的晃动已被消除或减弱的感觉。 图像合成是根据运动补偿模块的全局变换参数来改变当前帧，即得到了稳定的图像序列，如果需要，也可以完整的合成图像。 数字图像稳定(结构框图) 提纲 研究背景 国内外发展现状 数字图像稳定 运动估计 运动补偿 运动估计(成像模型) 运动估计(成像模型) 假设摄像机的光轴与场景平面垂直，场景是静止的。以运动摄像机为参考建立坐标系，设摄像机的光轴中心为坐标原点，则在摄像机的不同状态下同一点的三维坐标关系为： 运动估计(旋转角) 通过小波变换法提取特征点及其方向角，直接采用对两幅图像中特征点之间的角度差进行聚类得到： 建立角度直方图，最大值用来估计两幅图像之间的角度差。 运动估计(平移量) 利用区域灰度变化曲线的匹配获取平移运动参数，该方法是将二维空间内的搜索转化为一维曲线间的配准，减少了计算的复杂性和计算量。通过曲线配准估计整幅图像的平移运动情况，也可以在三通道空间内改进算法，提高其精确度。 运动估计(视频演示) 运动估计(性能分析) 提纲 研究背景 国内外发展现状 数字图像稳定 运动估计 运动补偿 运动补偿(分类方法) 运动补偿的方法可分为3类： 以图像中的特征作为参考，来稳定当前图像。例如在空中拍摄的图像序列，建筑物可以作为标志物； 把当前图像变形映射（warping）到参考帧，使观察者感到摄像机的晃动被消除或减弱； 平滑摄像机的运动，通过消除高频率的运动来稳定图像序列。 上述3种分类方法对应的算法： 帧到帧算法 (Frame-to-Frame Algorithm) 帧到参考帧算法 (Frame-to-Reference Algorithm) 帧到合成帧算法 (Frame-to-Mosaic Algorithm) 运动补偿(FFA、FRA、FMA) 帧到帧算法(Frame-to-Frame Algorithm) 以相邻帧间的运动为准，累加的结果用来补偿帧间的运动; 没有考虑累计误差的问题。由于后续帧的运动估计可能存在误差，会影响稳定的效果. 帧到参考帧算法(Frame-to-Reference Algorithm) 采用一个参考帧，直接用来估计每一帧的全局运动; 参考帧随着时间逐渐孤立，需要限制参数，并自动重置。 帧到合成帧算法(Frame-to-Mosaic Algorithm) 与FRA相比较，FMA是利用多帧信息合成一个参考帧； 合成帧随时间变化。 运动补偿(平滑滤波SF) 运动补偿(视频演示) 运动补偿(SF性能分析) 运动补偿(GMM滤波) 高斯混合模型(Gaussian Mixture Models)运动滤波器： 属于第三类补偿方法，即FMA； 通过分析摄像机不规则运动的统计学规律，建立高斯混合模型。GMM是一种直观的概率密度模型，反映了某段时间内图像运动的统计特征； 系数的自适应性。通过分析前N帧图像运动的统计特征，更新GMM参数； 相对于平滑滤波器，更有效的利用先验知识。 运动补偿(视频演示) 运动补偿(GMM性能分析) 测试数据：共测试了15个视频流，其中10个室外场景，5个室内场景； 统计量：引入随机变量 ，分别表示相邻帧间图像位移的横纵坐标(像素)及旋转角(弧度)差的绝对值，来统计实验数据； 部分统计结果。 运动补偿(GMM性能分析) 主要工作和创新点 提出了一种基于配准技术与聚类技术相结合的运动估计方法。通过对基于