多媒体技术5概要.ppt

§5.3 视频影像的处理和检索 1）基于像素的分割 特点：不考虑图像的空间内容分布，只利用各像素的颜色或者灰度信息； 最典型算法： 直方图阈值——假设图像中对象和背景具有不同的色彩特 征，直方图上的峰值代表了对应的对象和背景，通过取峰值 之间的阈值可分割出不同对象和背景； 问题——易于受噪声影响、阈值的选取很关键； 缺点——忽略了像素的空间相关性； 对于目标和背景之间色彩差异较小时，不易确定阈值 此时可用判别分析法、P尾法、可变阈值法。 §5.3 视频影像的处理和检索 2）基于边缘的分割 利用边缘作为不同区域之间的界限 检测边缘； 利用链接算法把边缘连接成边缘衔接的区域分界线； 适合于检测图像的线性特征； 缺点在于检测的边缘通常不能形成闭合曲线； §5.3 视频影像的处理和检索 3）基于区域的分割 主要根据颜色特征的相似性分割图像为具有一致性的区域： 优点——颜色特征具有方向、视角变化、部分遮挡或形状改变等条件下的一致性，比纹理、边缘和形状等特征更稳定； 分类：区域增长的分割、区域分裂合并的分割； §5.3 视频影像的处理和检索 4）基于纹理的分割 缺少可靠和有效的纹理度量方法，使该方法受到限制； 特点：大都认为纹理是在一个图像窗内的特性，能够表示区域内像素值的空间分布情况，能表示区域的光滑度、粗糙度以及规则度等； 纹理具有空间结构的特性，或统计特性，或两者兼有。 §5.3 视频影像的处理和检索 5）基于数学形态学的分割 基本思想——用具有一定形态的结构元素去度量和提取图像中对应形状； 优势： 可有效简化图像特征，减少噪声的影响，保持对象的基本形状特性，并去除不相干结构； 形态学本身可进行分割； 分割步骤： 用修正过的开、闭算子进行形态滤波，消除帧内的亮、暗斑，保持物体边界； 确定同质区域，同时为区域做标记； 以区域标记为种子，用分水岭算法进行区域分割； 进行分割质量评价，确定是否需要继续分割。 §5.3 视频影像的处理和检索 分水岭算法——一种数学形态学的非线性分割方法，常被用来解决分离相连接的目标； 将灰度图像看作是假想的地形表面，每个像素的灰度值表示该点的海拔高度，以图像的梯度作为输入，输出连续的单像素宽度的边缘线； 过程： 找出输入图像的局部极小值点； 水面从极小值点处开始上涨，当不同流域中的水面不断升高到将要汇合在一起时（目标边界处），筑起一道堤坝； 得到由这些水坝组成的分水岭线，即完成分割。 §5.3 视频影像的处理和检索 §5.3 视频影像的处理和检索 2、时域分割 视频是三维场景在二维平面上的某一个时刻的投影，运动目标与场景有较明显的区别； 单纯根据运动信息的均一性来划分区域，估计图像的运动场，将具有相似运动的区域聚类，形成视频对象； 基于运动的分割需要解决3个问题： 估计运动目标的数目； 估计各运动目标的运动特性； 估计相应于各运动目标的空间支持，即将运动分割结构向空域投影。 §5.3 视频影像的处理和检索 全局运动估计 镜头分割 确定对象 运动估计 时空特性 对象模型 先验知识 分割出物体 后处理 目标提取 视频序列 运动物体时域分割系统框架 §5.3 视频影像的处理和检索 1）基于检测区域变化的视频分割 通过检测序列图像帧上的变化与不变区域，分离运动与静止对象； 利用相邻两帧图像的差值检测变化区域，较为简单和易于实现； 引起相邻图像之间的差别的情况： 物体运动； 噪声及光照； 不足： 当运动物体内部具有大片一致性区域时，运动目标内部被检测为非运动区域，使目标内部出现空洞现象； 显露的背景区域被检测为变化部分，误认为是运动目标； 运动速度较快时，在相邻两帧间的运动位移较大，导致差分图像中运动变化区域内被覆盖和显露的背景区域较大，使运动目标边界不精确； 易于受噪声影响，检测结果易出现孤立点。 §5.3 视频影像的处理和检索 §4.3 视频影像的处理和检索 §5.3 视频影像的处理和检索 2）基于光流场的视频分割 估算密度运动场，然后进行场景分割； 运动场是三维物体的实际运动在图像平面上的投影，得到的图像亮度随时间的变化，即所谓光流场； 光流场是一种求差方法，假设图像中大部分点的亮度是连续的，目标上亮度平滑变化； 光流场并不总是对应于运动场，如果光照变化，即使没有运动，光流也能被观察到； 具有一致纹理的区域内部亮度是常量，不便于进行差值运算，运动目标或区域必须包含足够的纹理信息，才能得到光流场； §5.3 视频影像的处理和检索 §5.3 视频影像的处理和检索 §5.3 视频影像的处理和检索 基本思想： 假设有K个相互独立的运动物体； 每一个不同的运动可以通过一系列映射参数来正确描述； 每一个区