实时视频稳像技术研究及应用.pdfVIP

摘要

随着手机、便携式相机等设备的发展，越来越多的人喜欢拍摄视频来记录分享

生活。我们可以随时随地拍摄视频，但是这些设备也存在一些缺点，比如，移动拍

摄设备通常采用手持的方式进行拍摄，这样容易产生晃动和抖动，导致视频画面不

稳定，在极端情况下，如行走或运动中，这种抖动更加明显。视频稳像是一种通过

算法等技术手段来减少或消除由于相机移动因素引起的视频画面抖动的技术，改

善视频呈现效果。视频稳像技术已经取得良好的发展，但是依然存在很多挑战。比

如，进行相机运动估计时，容易受画面内容影响，画面遮挡后估计准确度差。目前

大部分的视频稳像技术都是离线的，需要将视频录制好，无法所拍即所得，实时稳

像存在处理速度慢等问题。本文针对上述存在的问题展开工作，主要工作内容如下：

针对视频稳像中运动估计易受视频画面影响的问题，提出了基于传感器数据

的增益自适应互补滤波。使用惯性传感器来进行运动估计，避免了只基于图像的运

动估计，不受视频画面内容的影响。利用传感器的特点，对获取到的传感器数据进

行预处理，并针对设备的运动状态提出了增益自适应互补滤波来提高估计的准确

性。实验表明，与传统的互补滤波相比，本文方法的欧拉角误差平均降低了30.6%。

针对视频稳像中的运动平滑的实时性问题，提出了基于测地线距离的多帧缓

存技术来解决实时运动平滑问题。因为相机旋转对视频抖动影响更大，所以将相机

运动使用三维旋转模型表示，忽略平移分量，这样也可以降低算法复杂性。将运动

估计使用三维旋转矩阵表示，利用三维旋转矩阵的流形结构，使用黎曼流形的几何

特性直接对旋转矩阵进行平滑。对当前帧进行实时平滑时，通过使用缓存未来多帧

的方法来提高运动整体的平滑度。实验表明，与原来方法相比，均值角速度降低了

21.78%，即视觉上的更加平滑。

目前的视频稳像系统普遍是离线处理并且耗时高。针对这个问题，设计并实现

了一个基于相机平台的实时视频稳像系统，利用相机成像管道，将稳像系统作为成

像管道的一部分，避免了视频需要重新编解码的问题，提高了处理速度。实验表明，

系统输出的视频具有良好的稳定性和实时性，稳定性得分与离线处理媲美，均分达

0.89，对于1920×1080和3840×2160两种分辨率视频分别可实时处理60帧和30

帧。

关键词：实时视频稳像，运动估计，互补滤波，运动平滑

ABSTRACT

Withthedevelopmentofdevicessuchasmobilephonesandportablecameras,more

andmorepeopleliketoshootvideostorecordandsharetheirlives.Wecanshootvideos

anytimeandanywhere,butthesedevicesalsohavesomedrawbacks.Forexample,mobile

shootingdevicesusuallyusehandheldmethodsforshooting,whichcaneasilycause

shakiness,leadingtounstablevideoimages.Inextremecases,suchaswalkingormoving,

thisshakingismorepronounced.Videostabilizationisatechniquethatusesalgorithms

andothertechnicalmeanstoreduceoreliminatevideoshakecausedbycameramovement,

improvingvideopresentationeffects.Videostabilizationtechnologyhasmadegood

progress,buttherearestillmanychallenges.Forexample,whenperformingcamera

motionestimation,itiseasytobeaffectedbythecon