基于语义的视频检索09.ppt

视频理解和基于语义的视频检索 信息与通信工程学院多媒体中心 多媒体通信与模式识别实验室 蔡安妮 研究背景和意义 网络信息资源正从文字时代过渡到影像时代 ，视频搜索将成为搜索引擎的重要部分 视频的自动标注对海量视频内容的监管和安全有着极为重要的现实意义 视频自动理解：－根据视频内容和上下文关系，在没有人工参与的情况下，自动提取并描述视频的特征和内容 基于语义的视频检索：－在语义层次上实现对大规模视频数据库的搜索和查询 应用－视频摘要 以静态的关键帧组或动态的视频缩略的形式对视频做精简的表达 应用－智能视频监控 应用－异常事件检测 应用－同源视频检测 应用－按图例查询 应用－基于语义的检索 涉及的领域 人的视听知觉机理 图像与视频处理 模式识别、机器学习 新的计算模型和方法 信息科学、生命科学和数理科学的交叉 主要问题 结构分析 底层特征提取 概念自动标注 概念的关系模型 基于语义（事件）的检索 视频结构分析 图像的底层特征 颜色 － RGB_Moment － HSV_Hist 边缘 － Edge_Hist 纹理 － Gabor 关键点 － Sift 视觉系统的结构 初级视觉 Gabor 函数模型 Jones 和 Palmer 用电生理实验测量了视皮层简单细胞的空间频谱的响应特性，并证明了这些响应特性可以用二维 Gabor 函数进行很好的拟合。 二维感受野剖面与逼近的二维 Gabor 函数 Gabor 滤波 对底层特征的鲁棒性要求 SIFT (Scale Invariant Feature Transform) SIFT 关键点检测 SIFT 点邻域描述 SIFT 特征匹配 高层特征（概念） 物体的表征 视频字典 概念检测 线性分类器 机器学习 － SVM ( Support vector machines ) 事件（语义）检索 事件检索框架 主要策略 训练 48 个视频概念 SVM 分类器 办公室、会议、船、飞机、天空、山脉 ….. 文字检索：同义词扩展、计算查询词与概念间的相似性、形成带有权值的查询词组 找到有飞机起飞的镜头 图例检索：查询视频在概念上的投影作为权值，对检索结果进行加权 多模态检索结果融合 TRECVID 国际评测 视频检索领域中的国际性权威评测，由美国国家标准技术研究所组织实施。美国国家标准技术研究所向世界各国的大学和公司的参评者发布标准测试数据，参评者用这些标准测试数据测试自己开发的算法和软件，在规定时间以前提交自己的运行结果，然后由美国国家标准技术研究所提供标准答案并对各结果进行评价。 镜头检测任务评测结果 同源视频检测任务评测结果 视频搜索任务评测结果 未来的工作 搜索任务最好的平均准确率仅 0.1～0.2 更高层的语义与语义关联 人类大脑如何将底层视觉刺激转化成高层认知的？计算机如何去模拟这个过程？ 视频内容理解是一个复杂的认知过程，是知觉、注意、记忆等相关单元协同工作的结果；而现有的视频语义分析通常被看作一项单纯的图像工程，概念检测通常只是使用机器学习的方法通过对底层特征的学习来实现。 Thank you ! * 例：进出人数统计 例：放下物体和奔跑 版权保护 寻找与图例相似的图片或视频镜头 例：寻找有3个或3个以上人坐在桌边的镜头 语义鸿沟 关键帧提取 故事 场景1 场景2 场景N 镜头 镜头 镜头 镜头 镜头 镜头 帧 图像落到视网膜以后, 经过五类不同细胞（总数达1亿左右）的复杂加工, 然后通过视神经纤维经过一次神经交换，到达侧膝体， 最后投射到初级视皮层 F1 F2 F3 F4 找到不同尺度的关键点的位置、梯度方向 对关键点邻域的纹理特性进行描述 神经节细胞感受野响应 Defference of Guassian 具有平移、旋转不变性 对亮度、遮挡、缩放、姿态变化一定的鲁棒性 8 （方向） X 4 X 4 ＝128 （维） Bag of ‘words’ Object z z z z X X X X X X X X X X X X X X Support Vector 训练 （正样本、负样本） 测试 * * *