《计算机视觉》 教学案例 8、光流估计.pdf

教学案例8：光流估计

一、实验目的与任务

通过本实验，要求学生掌握运动视频光流估计算法，熟悉稀疏光流与稠密光流的计算

与评价方法。

二、实验内容、要求及安排

实验内容：利用FlowNet和PWCNet光流估计模型，对端到端的光流计算神经网络进

行训练与测试。实验中应注意传统模型与神经网络模型对实验结果、实验参数、算法时间

和空间复杂度的区别。实验报告中要包含问题的数学原理描述、算法描述、实现，实验结

果展示及分析。

实验要求：本课程实验要求学生使用Python语言编程。要求学生依据课堂讲授的相关

知识，以运动视频光流计算为任务，经过分析、设计、编码与调试，独立完成题目的算法

设计与程序的实现，并最终提交调试成功的源程序代码和实验报告。

实验安排：本实验属于开放性实验，要求每个学生独立地完成本实验项目。

三、任务实现及相关素材

（一）任务简介：光流信息是指一幅图像中的许多点在第二幅图像中移动的位置，通

常假设第一幅图像中的大部分点框架都可以在第二幅图像中找到。理想情况下，光流场与

图像中的二维运动场吻合，光流法利用图像序列中像素在时间域上的变化以及相邻帧之间

的相关性来找到上一帧跟当前帧之间存在的对应关系，一幅图像中每个像素的位移矢量，

指示该像素在另一幅图像中的相对位置，从而计算出相邻帧之间物体的运动信息，因此可

用于对物体运动的情况进行估测与分析。

（二）数据集简介：

1.FlyingChairs是一个带有光流地面真实数据的合成数据集。它包括22872对图像和

相应的光流场。图像显示的是3D椅子模型在来自Flickr的随机背景前移动的渲染图像。

椅子和背景的移动都是纯平面运动。该数据集已用于ICCV2015论文FlowNet:Learning

OpticalFlowwithConvolutionalNetworks中卷积网络的训练。

2.KITTI数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办，是目前

国际上最大的自动驾驶场景下的计算机视觉算法评测数据集。该数据集用于评测立体图像

(stereo)，光流(opticalflow)，视觉测距(visualodometry)，3D物体检测(objectdetection)和3D

跟踪(tracking)等计算机视觉技术在车载环境下的性能。KITTI包含市区、乡村和高速公路

等场景采集的真实图像数据，每张图像中最多达15辆车和30个行人，还有各种程度的遮

挡与截断。KITTI包括389对立体图像和光流图。

3.HD1KBenchmarkSuite是一个用于光流测评和自动驾驶数据集的基准套件，由海德

堡图像处理合作实验室与博世公司紧密合作创建。该数据集提供1000多帧图像，分辨率为

2560x1080，包含多样化的光照和天气情况。此外，还提供了光流引用数据，具有误差范围，

以及动态物体评估掩模。此基准套件针对具有挑战性场景进行了特定的稳健性评估。

4.Sintel数据集来自开源3D动画短片Sintel，主要是为了验证模型的好坏，而不是训

练，数据集、指标和评估网站是公开的。本包含23个训练序列（以及光流的标准参考值），

12个测试序列。

上述数据集可以从网上搜索下载。

（三）模型简介：

1.FlowNet是一种端到端的光流估计学习的神经网络结构，该网络结构总体上是一种

Encoder/Decoder结构。模型首先在网络的收缩部分进行空间压缩和特征提取，然后在扩展

部分进行细化。FlowNet网络的输入是一个图像对（包含相邻两帧），以及其对应的光流

groundtruth。根据编码方法的不同，FlowNet拥有两种网络结构，分别为FlowNetSimple

（FlowNet-S）和FlowNetCorrelation（FlowNet-C）。

2.PWC-Net的核心优化点就在于如何在保证光流估计质量和精确性的前提下，尽可能

地缩小训练体积。针对此问题，PWC-Net将领域知识与深度学习相结合，利用多尺度特征

来替换子网络串联，其设计遵循了三个简单而成熟的原则：金字塔特征提取、光流映射、

匹配相关性成本代价衡量。其中光流映射和匹配相关性成本代价衡量都不包含任何学习参

数