数字图像处理与识别第6章 运动图像序列分析.pptVIP

第6章 运动图像序列分析 第6章 运动图像序列分析 第6章 运动图像序列分析 6.1图像序列的概念 6.2运动基础知识 6.3基于光流场的运动分析 6.4基于匹配的运动分析 6.5变形模型技术 6.1 图像序列的概念 图像的数学表示 (i, j=0,1,…,N-1，k=0,1,…,n-1，l=1,2,…,m) 时间图像序列的数学表示 (i, j=0,1,…,N-1) 6.1.1 图像序列 运动图像序列——LCA血管造影序列 6.1.2 运动图像序列分析 从二维图像序列中检测目标运动，提取运动参数，分析运动规律。 光流法（optical flow） 匹配法（match） 变形模型（deformable model） 6.1 图像序列的概念 6.2 运动基础知识 6.2.1 刚性运动 物体作刚性运动时，其形状和大小都保持 不变。任何刚性运动都可以分解为平移和旋转： Traffic tracking Tracking ball 6.2.2 非刚性运动 物体发生非刚性运动时，除了可能发生 位置的改变之外，还会发生形状的变化。可 以采用平移向量和仿射矩阵来描述： 6.2 运动基础知识 膨胀/收缩 沿z轴的扭转 6.2.2 非刚性运动 6.2 运动基础知识 尖化 弯曲 弯曲角 弯曲参数：kb 6.2.2 非刚性运动 6.2 运动基础知识 蛇形体变形 局部变形：如手风琴式的褶皱变形 6.2.2 非刚性运动 6.2 运动基础知识 X射线左心室造影图像序列 6.2.2 非刚性运动 6.2 运动基础知识 6.3 基于光流场的运动分析 光流场 图像中亮度图案的表观运动(apparent motion) 二维运动场 三维物体的实际运动在图像 平面上的投影 6.3.1 光流的概念 光流场和运动场的关系： 理想情况下二者互相吻合 特殊情况 Barber’s pole Motion field Optical flow Barber’s pole 6.3 基于光流场的运动分析 6.3.1 光流的概念 Uniform sphere 运动场不为零 光流场为零 光流场不为零 运动场为零 6.3.2 光流约束方程 光流 6.3 基于光流场的运动分析 孔径问题(Aperture Problem)： 根据OFCE仅能求出光流 在灰度梯度 (Ix, Iy)方向的分量 6.3 基于光流场的运动分析 ， 6.3.3 如何计算光流——附加约束条件 同一物体上相邻点的速度是相似的，那么其投影到图像上的光流变化也是平滑的。 最经典的约束——全局平滑约束 6.3 基于光流场的运动分析 6.3.3 如何计算光流 例子——X射线血管造影图像序列中冠状动脉血管的运动估计 6.3 基于光流场的运动分析 step1: 提取中心线—减少计算量 step2: 计算中心线上点的光流，将整体平 滑性约束应用于中心线 血管中心线可以用二维图像点的有序集合 表示，需要确定的是连续两帧之间骨架点的运动 速度 定义函数： 6.3 基于光流场的运动分析 6.3.3 如何计算光流 令 and 得到方程组 实验结果 6.3.4 结论 不考虑特征匹配问题，应用中可减少难度 对噪声敏感，抗噪性能差 当图像中的灰度变化及速度场不连续时，光 流约束方程是否成立？ 要求较高的图像帧采样率 6.3 基于光流场的运动分析 6.4 基于匹配的运动分析 将运动估计转化为对连续两帧图像的特征进行 匹配，通过寻找运动前后同一物体上点的对应关 系，得到各点的运动向量。 图像特征 点、直线段、曲线、拐角、二维区域、平面和 曲面。 匹配 匹配是一个最优化问题，是一个使成本函数 (cost function)最小的过程。成本函数即匹配 误差函数，是运动前后物体的差异度。 6.4.1 方法 （1）将血管骨架表示成点的有序集合 如何寻找对应关系 注：要求中心线是单像素、八连通的 6.4.2 例子——X射线血管造影图像序列 中冠状动脉血管骨架的运动估计 6.4 基于匹配的运动分析 第6章 运动图像序列分析