电子稳像综述.pptxVIP

电子稳像综述 2016年3月 zgbupc@63.com 目录 ·电子稳像背景 ·稳像算法介绍 背 景 摄像机有时必须安装在有震动的环境中，必然存在机械震动，而且这些机械震动往往难以消除，机械震动会引起视频图像的抖动，尤其是在使用高倍放大的镜头情况下，轻微的机械震动都会引起图像的剧烈抖动，从而严重影响对视频的观察监视。 军事领域 公共安全 航空航天 稳像：消除视频图像的各种抖动。 光学稳像 电子稳像 机械式稳像 背 景 EIS（Electronic Image Stabilization） 电子稳像 电子稳像技术是一种对随机运动或抖动的摄像机所获取的动态图像序列进行平滑补偿,使其平稳输出的技术。 EIS技术的研究已三十多年历史，美国、法国、俄罗斯等国家对电子稳像技术应用于军事方面已经进行了较深入的研究；日本和韩国对家用摄录机的稳定技术也进行了研究和开发。 国内对电子稳像技术的研究依然处于初级阶段，目前为止，只有中国科学院长春光机所和北京理工大学等单位在这个领域有一定的研究，总体来说，电子稳像技术解决复杂抖动依然不够成熟。 背 景 背 景 (a)参考帧 (b)当前帧 (c)参考帧 (d)稳像后 稳像图示： （1）高精度 （2）快速计算 背 景 技术要求： （5）利用图像信息区分摄像机的晃动量和摄像机的正常扫描运动 。 （4）去除局部运动，准确估计全局运动也是一个难题。前景，背景 （3）减少视频信息的丢失 背 景 运动估计 运动补偿 抖动视频 稳定视频 运动滤波 稳像系统框图： 全局运动估计是为全局运动建立数学模型并估计模型的参数。 滤波方法主要有：均值滤波、 基于β 样条的运动滤波、最为常 用的为 kalman 滤波。 运动补偿是指根据运动估计及运动平滑获得的抖动参数重构视频图像，重新生成一个只存在摄像机主观运动的稳定视频序列 算法 原理 运动估计 算法 原理 全局运动参数计算： 一般采用六参数仿射模型对摄像机运动建模。当场景中物体的相对深度变化和摄像机的焦距缩放都不太大时，六参数仿射模型能够很好的描述摄像机的纯旋转、摇镜头、平移运动，并且六参数仿射模型计算复杂度适中、累积误差较小。六参数仿射运动模型和模型参数的具体介绍如下： 式中：（a1,a2,a3,a4,a5,a6）为摄像机的全局运动参数；其中（a1，a5）为缩放参数， （a2，a4）为旋转参数，（a3,a6）为平移参数： （x,y）为参考帧的像素坐标： （x ’，y ’）为抖动视频当前帧对应的像素坐标。 算法 原理 参考帧的选取： 分为固定参考帧模式和相邻参考帧模式。 不需要实时更新参考帧图像，这种参考帧选取方式计算量小。不会带来累积误差，算法的鲁棒性好。 缺点：随着摄像机的运动，图像也会发生变化，图像的重叠区域慢慢减小。 缺点：相邻参考帧棋式占用很大的存储空间，计算量增大，容易出现累积错误。 最大程度地利用了图像的特征信息，减少稳定帧的无定义区域。 当前运动估计算法有： 块匹配法BMA（Block Matching Algorithm） 位平面匹配法BPM ( Bit plane matching ) 代表点法RPM(Representative point matching) 特征匹配法 也有一些在经典算法基础上改进后的新算法。 灰度投影算法PA ( projection algorithm ) 运动估计 运动估计 尽管视频序列帧之间存在着一定的几何变化和光照亮度的变化，但相邻帧之间必然存在很大的图像重合区域，这个区域里图像的像素灰度信息分布规律基本是一样的。 灰度投影就是建立在这样的前提假设之下， 此算法将图像在水平和垂直方向上分别对每行和每列的像素灰度值进行累加， 这样对于这幅图像就会产生两条灰度投影曲线，分别代表着这幅图像水平和垂直方向上的灰度分布规律。 灰度投影法： 其中式Colk(j) 为第k 帧图像第j 列的灰度值;Curk(i.j)是第k 帧图像上(i,j)位置处的像素的值; N C 是列数; ColProjk(j)是第k 帧图像第j 列修正后的投影值。 对于一段视频，如果序列图像之间存在水平或者垂直方向上的平移，其实反映在这两个曲线上的变化也是曲线的左移或者右移。这样通过对当前帧的灰度投影曲线和参考帧的灰度投影曲线进行互相关运算就可以计算出两帧图像间水平和垂直方向上发生的偏移量。 图：参考帧图像列方向投影数据曲线 图：当前帧图像列方向投影数据曲线 图：当前帧和参考帧的列相关曲线 灰度投影法： 运动估计 对于图像灰度分布简单，视频中只存在平移类的抖动时，采用灰度投影算法来稳像是最合适的，此时它稳像精度高且算法处理速