图像场景分类与视频场景聚类研究综述要点.pptVIP

此类方法已经在图像和视频检索领域研究了多年.该方法直接根据图像的低层特征区分图像,而不用识别图像中的目标,适合差别明显的场景分类。 对于复杂的图像场景分类效果差,推广性差,且不能克服低层特征与高层语义之间的鸿沟。 研究现状 二：利用图像中层语义建模 构建中间层主题—通过检测选取图像中包含的语义对象/兴趣区域块来帮助描述图像场景。 1.通过图像分割自动或手动标记出分割区域的类别 2.对每个区域/对象类别构建训练样本 3.使用机器学习方法实现对对象的分类。 该方法代表人物有Fan Jianping和Luo Jiebo,Feifei Li。 代表文章：A bayesian hierarchical model for learning natural scene categories.(CVPR05) 利用图像的中层语义建模是目前图像场景分类的研究热点和主流。 它可以有效弥补复杂场景和高层语义之间的鸿沟 主要研究者 A.OlivaA.Torralba. (MIT) CSAI Laboratory(计算机科学与人工智能) Interest：scene and object recognition Publication: Dense scene alignment using SIFT Flow for object recognition (CVPR09) Recognizing indoor scenes (CVPR09) LabelMe video: building a video database with human annotations (CVPR09) SIFT flow: dense correspondence across different scenes (Project ,ECCV08) Small codes and large databases for recognition (CVPR09) 主要研究者 Fei-Fei Li(Princeton) Princeton Vision Lab Interest: 对象识别, 人体运动识别, material recognition ,场景分类, 综合的场景理解 Publication: Towards Total Scene Understanding: Classification, Annotation and Segmentation in an Automatic Framework (CVPR09) Simultaneous Image Classification and Annotation (cvpr09) ImageNet:A Large-Scale Hierarchical Image Database (cvpr09) What ,where and who?Classifying events by scenes and object recognition.(ICCV07) Why does natural scene categorization require little attention? Exploring attentional requirements for natural and synthetic stimuli (visual cognition05) 总结 图像场景分类是当前计算机视觉的热点问题.目前研究的热点是第二种方法。 其应用广泛如基于内容的图像检索；如通过分析电视节目图片的场景类型(“新闻演播室”“足球场”“网球场”)可以帮助区分电视节目类型…… 当前的研究仍存在很大不足，对一些类别的场景还不能取得良好的分类效果。 下一步的研究包括提取更多有效特征用于描述图像,融合多种特征,综合多种方法的场景分类方法。 3 总结 视频内容分析目前的研究热点： 融合音视频信息对新闻体育等视频更准确划分 视频监控中的事件检测; 场景综合全面理解:场景本身可以反应语义信息，但是机器并不能自动实现语义信息的理解.(图像场景分类,目标识别等等) 海量视频的处理能力 两者的紧密关系 视频场景聚类方法能检测出场景，但并不知道这个场景是什么，使用图像场景分类，事件检测可以帮助实现这一目的。 图像场景vs视频场景 图像场景分类就是从多幅图像中把具有相似场景特征的图像划分为一类。场景类别包括：室内/室外,城市/乡村等等。 视频场景聚类：将内容上相关的镜头聚合成高层语义单元—场景的过程。 * * * 文献中提及的scene场景一词有两种情况，一是视频场景，对应视频