18-多媒体内容与检索复习教程详解.pptVIP

* * * * 同类物体之所以属于同一类，在于它们的某些属性相似，因此可选择适当的度量方法检测出它们之间的相似性。人们也正是依据物体之间的相似程度将它们分类的。问题在于物体之间的相似性具有定性与不确定的性质，有时相似性与不相似性很难用明确的定量表示。而计算机却适合符号运算或数值计算。如果采用数值运算，则必须将赖以区别物体的相似性与不相似性用定量表示，这显然是非常困难的。如果采用符号运算来说明两个物体在什么方面相似与不相似，则往往也要从定量分析的基础得出定性的符号描述，这也正是许多实际模式识别问题的困难所在。 * * 伪相关反馈，也称之为盲式相关反馈，提供的是一种自动局部分析方法，它可以自动化相关反馈的手动操作部分，因此用户可不用参与额外的交互也可以获得更好的检索性能。这种方法首先通过普通检索从最相关的文档中寻找到一个初始结果，然后假定其中的前k排名文档是相关的，最后在这个假设条件下像前面一样进行相关反馈。过程步骤如下： 把初始查询返回的结果当成相关结果（在大多数实验中仅前k个，k位于10和50之间的数）； 使用如TF-IDF权重的方法从这些文档中选择前20-30（象征性的数字）个词语； 执行查询扩展，将这些词语加入到查询中，然后再去匹配查询所返回的文档，最终返回最相关的文档。 一些实验，如发表在(Buckley et al.1995)的Cornell SMART系统，在TREC 4实验环境中使用伪相关反馈提升了其检索系统的性能。 这种自动化技术在大多数情况下都工作正常，有证据表明甚至好于全局分析。[1] 通过查询扩展，一些在初始查询中错过的文档能被重新获得，从而提高了整体性能。很显然，这种方法的效果非常依赖于所选择的扩展词语的质量，目前已经发现它在TREC即席任务中提高了性能[来源请求]。但是它又避免了自动处理过程的危险，例如，如果需要查询的是铜矿，而且位于前面的一些文档都是关于智利的铜矿，那么在查询方向上会逐渐偏向于那些与智利有关的文档。[2] 然而，如果加入原始查询的词语与查询主题并不相关，检索质量有可能会下降，尤其是在Web搜索中，Web文档经常会覆盖多个不同的主题。 * * 固定阈值 阈值的评判： 没有一个客观的评判方法，主要是主观评判。 合适的阈值既要能够判断出个别帧之间的变化，又要能确保整体切分性能保持在一定水平。 “严格”的切分阈值会对视频帧中的细微差别比较敏感，会使视频流被切分过细，无镜头转移时仍被切分。 “宽松”的切分阈值不能检测到视频帧的强烈特征变化，会使整个视频流被切分过大，发生镜头转换时可能检测不到。 基于双阈值的镜头检测 Threshold SVM with Active Learning Strategy 几种关键帧提取算法 基于抽样的方法 基于镜头边界法 基于颜色特征法 基于运动分析法 基于聚类的关键帧提取 （重点介绍） 视频场景构造——概述 在视频结构中，相似的镜头（Shot）组合到一个视频组中（Group） Zhang提出得到视频的浏览层次结构的方法 Zhong提出基于聚类的视频层次（不体现语义） UIUC提出视频目录结构（TOC） 基于固定模型构造 基于通用模型构造 视频场景构造——实现方法 视频场景构建（Scene Structure Construction） 镜头边界检测与关键帧提取（Shot Boundary Detection and Key Frame Extraction） 时空特征提取（Spatial-Temporal Feature Extraction） 时间可适性组构建（Time-Adaptive Grouping） 视频检索相关反馈-Motivation 基于文本的视频检索 基于内容的检索 反映了视频本身的特征 文本与视频语义相关，检索速度快 检索的结果中有很多不准确的视频 优点 缺点 计算量大，适合小数据集 Way 基于文本的检索 基于内容的检索 video re-ranking 介绍的论文 Video Search Reranking via Information Bottleneck Principle, ACM Multimedia 2007 full paper Video Search Re-Ranking via Multi-Graph Propagation, ACM Multimedia 2007 full paper Video Search Reranking through Random Walk over Document-Level Context Graph, ACM Multimedia 2007 full paper Bayesian Video Search Re