基于内容的视频语义分析关键技术.pdfVIP

张良，等：基于内容的视频语义分析关键技术 系。纹理是指图像中所具有的局部不规则而宏观有规 (1)对象识别，即对视频片断的目标区域进行识别，分 律的特性 。纹理是一种全局特征，对 图像灰度变化的 割提取视频中的语义对象。(2)对象证实，即二值判 特征进行量化，与对象的位置、走 向、大小、形状有关， 断视频片断中是否出现过指定对象。(3)对象检测， 与平均度灰度级无关。由于纹理特征是人们对事物的 即定位视频 中指定对象 的准确位置和 出现 时间。 视觉感受，用语言和文字进行定性和定量的表述 比较 (4)对象鉴别，即对给定的对象类别进行实例细分。 困难。常用的纹理分析方法有统计法、结构法等。 视频语义对象识别的难点有视频对象的多角度变换问 1．4．1 统计 法 题、遮挡问题、尺度问题、形变问题和背景干扰 问题等。 统计法根据人的直观视觉感受，通过灰度级分布 视频语义分析的重点是对视频对象进行处理分析，得 的随机属性来描述问题特征，主要方法有灰度直方图、 到视频中感兴趣的对象，即能对人类情感反应产生主 灰度差值直方图和灰度共生矩阵法。其中灰度共生矩 要影响的对象，现有的语义视频对象检测技术可以分 阵法应用较多，又称灰度联合概率矩阵法，是对图像的 为两类 ：基于特征的检测和基于模型的检测。 所有像元进行统计调查，以便描述其灰度分布的一种 2．2 基于模型的对象检测 方法。 基于模型的跟踪技术定义参数化的语义视频对象 1．4．2 结构法 模型，又称为 自顶 向下的对象捕捉方法，利用定义的模 结构法采用纹理基元理论，采用简单纹理基元排 型进行跟踪。将对象模型投影并与图像匹配，以获得 列的规律性来分析问题特征，主要分析基元的特征和 对象姿态参数。需要借助对模型，利用对象几何结构、 组合规则，采用图论、拓扑等方法。由于 自然纹理往往 运动模型等先验知识。基于模型的跟踪方法需要定义 不易提取基元，应用受到很大限制。主要应用于人工 场景中所有可能出现的语义视频对象的模型，要求详 问题的分析 。 细地知道语义视频对象模型的几何形状特征，适用于 1．5 形状特征 特定领域的视频，如交通监控、体育视频分析等。由于 形状特征是视频的一个重要特征，是人类视觉系 通用视频 中对象类型多，不可能事先对所有队形进行 统识别事物所需的关键信息之一 ，人们对事物的的理 模型估计和定义。基于模型的跟踪技术不适用于通用 解较大程度上依赖与视频中物体的形状的区别。如人 视频 。 在看漫画时，根据只有轮廓的黑白色线条就能大致推 2．3 基于特征的对象检测 断出所描述的事物，这是颜色特征所不能实现的。而 基于特征的跟踪技术提取语义视频对象的特征， 与颜色特征相比，在 目前的技术条件下，物体的形状特 利用提取的特征进行跟踪。首帧标注或检测出对象关 征不能很精确地 自动获得。至今还没找到与人的形状 键点位置，后续帧中