计算机视觉教程 章毓晋 CCV11新.ppt

在线教务辅导网： 更多课程配套课件资源请访问在线教务辅导网 * 11-* 第11章 计算机视觉教程 章毓晋 第11章 运动分析 11.1 运动分类和表达 11.2 全局运动检测 11.3 运动目标分割 11.4 运动光流和表面取向 11.1 运动分类和表达 1.　运动分类 (1)　摄像机静止，景物运动 (2)　摄像机运动，景物静止 (3)　摄像机和景物都运动 (1)　前景运动：前景运动指目标在场景中的自身运动，又称为局部运动 (2)　背景运动：背景运动是由进行拍摄的摄像机的运动所造成的帧图像内所有点的整体移动，又称为全局运动或摄像机运动 11.1 运动分类和表达 摄像机的各种运动 跟踪运动 升降运动 进退或推拉运动 倾斜运动 扫视运动 滚转运动 变焦运动或缩放运动 11.1 运动分类和表达 2.　运动矢量场表达 将每个运动矢量用（有起点）无箭头的线段（线段长度与矢量 大小即运动速度成 正比）来表示，并 叠加在原始图像上 11.1 运动分类和表达 3.　运动直方图表达 运动矢量方向直方图 仅保留运动的方向信息以减少数据量 11.1 运动分类和表达 3.　运动直方图表达 运动区域类型直方图 借助对区域参数模型的表示来表达运动矢量场中各种运动的信息 11.1 运动分类和表达 4.　运动轨迹表达 运动轨迹描述符由一系列关键点和一组在这些关键点间进行插值的函数构成 11.2 全局运动检测 11.2.1 利用图像差的运动检测 11.2.2 基于模型的运动检测 11.2.1　利用图像差的运动检测 1.　差图像的计算 对时间上相邻的两幅图像求差 将图像中运动目标的位置和形状变化突现出来 11.2.1　利用图像差的运动检测 1.　差图像的计算 差图像 似然比 11.2.1　利用图像差的运动检测 2.　累积差图像的计算 11.2.1　利用图像差的运动检测 2.　累积差图像的计算 累积差图像ADI有3个功能 (1)　ADI中相邻像素数值间的梯度关系可用来估计目标移动的速度矢量，这里梯度的方向就是速度的方向，梯度的大小与速度成正比 (2)　ADI中像素的数值可帮助确定运动目标的尺寸和移动的距离 (3)　ADI中包含了目标运动的全部历史资料，有助于检测缓慢运动的和尺寸较小的目标运动 11.2.2　利用模型的运动检测 1.　全局运动模型 通用的模型 线性的6参数仿射模型 8参数的双线性模型 11.2.2　利用模型的运动检测 2.　基于双线性模型的全局运动检测 将整个帧图像划分为一些正方形小块（如16?16），然后用块匹配法求取观测运动矢量 11.3 运动目标分割 1.　先分割之后再计算运动信息 直接利用时–空图像的灰度和梯度信息 2.　先计算运动信息再分割 先估计光流场，然后基于光流场进行分割 3.　同时计算运动信息和进行分割 一般需要相当大的计算量 11.4 运动光流和表面取向 11.4.1 光流约束方程 11.4.2 光流计算 11.4.3 光流与表面取向 11.4 运动光流和表面取向 当摄像机与场景目标间有相对运动时所观察到的亮度模式运动称为光流，或者说物体带光学特征的部位的移动投影到视网膜平面（即图像平面）上就形成光流 光流有三个要素：一是运动（速度场），这是光流形成的必要条件；二是带光学特性的部位（例如有灰度的像素点），它能携带信息；三是成像投影 （从场景到图像平面），因而能被观察到 11.4.1 光流约束方程 时刻t + d t在图像点(x + d x, y + d y)处的照度应当与时刻t在图像点(x, y)的照度相同 用泰勒级数展开，令dt ? 0，取极限并略去高阶项 灰度的（一阶）时间变化率是场景亮度变化率与该点运动速度的乘积 11.4.2 光流计算 对光流约束方程求解，即根据图像点灰度值的梯度求光流分量 光流约束方程的解是一条直线 仅一个光流约束方程并不足以唯一地确定u和v两个量 11.4.2 光流计算 1.　刚体运动光流 速度的空间变化率为零 将e 对u和v分别求导并取导数为零 11.4.2 光流计算 1.　刚体运动光流 松弛迭代方程 在一个新(u, v)点的迭代值是 该点邻域中的平均值减去一 个调节量，这个调节量处于 亮度梯度的方向上零 11.4.2 光流计算 11.4.2 光流计算 2.　平滑运动光流 考虑在图像的大部分地方运动场的变化一般比较缓慢稳定这个平滑条件。这时可考虑最小化一个与平滑相偏离的测度，常用的测度是对光