12-9 goole video研讨.pptxVIP

Video Google: A Text Retrieval Approach to Object Matching in Videos 钱浩 文本检索 TF-IDF 视频检索 场景匹配 目标检索 Experiments Outline 文本检索 文本检索 每个文本表示成一个向量，每个维度上的值为该词在文件中出现的频率； 各词的值会有加权，比如采用TF-IDF加权等； 停用词：即那些特别常见的词，如an、the 在文本检索时，通过计算词频向量，返回向量最接近的文档 TF-IDF TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术 字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降 TF-IDF TF-IDF 假如一篇文件的总词语数是100个，而词语“母牛”出现了3次，那么“母牛”一词在该文件中的词频就是3/100=0.03。一个计算文件频率 (DF) 的方法是测定有多少份文件出现过“母牛”一词，然后除以文件集里包含的文件总数。所以，如果“母牛”一词在1,000份文件出现过，而文件总数是10,000,000份的话，其逆向文件频率就是 log(10,000,000 / 1,000)=4。最后的TF-IDF的分数为0.03 * 4=0.12。 文本检索 场景匹配 每行展示了从不同镜头下描述的同一个地点 场景匹配 主要流程为： 图像特征提取，SIFT，特征去噪（三帧内消失reject）； k-means聚类，度量方式为欧式距离，对k-means多次随机初始化，最终使用误差最小的结果； 图像向量化，利用TF-IDF加权量化； 检索阶段，用cos余弦值度量 场景匹配 提出了“visual?words”的概念 用两种不同的区域来作为一帧图像的visual?words，一种是Shaped?Adapted(SA)，一种是Maximally?Stable(MS) SA和MS作为描述同一篇文章的不同用词可以同时存在 场景匹配 SA是以图像中的角点、拐点（corner）为基础提取出相应的椭圆区域； MS是通过对最大稳定极值区域（MSER）的提取得到椭圆区域表示 MS-黄色 SA-蓝色 场景匹配 场景匹配 构造visual?words： 采用 sift 提取特征值 k-means聚类 所选的特征和特征描述方式满足仿射不变性，有利于区域不同尺度不同视角的匹配。 一帧图像中提取出的区域要和相邻几帧进行比较，若该区域只出现在当前一帧图像上，就会把该区域当成噪声或不稳定区域舍去 仿射不变性 常用的仿射变换:旋转、倾斜、平移、缩放 若一个图形具有某种性质或者某个量，在平行射影下，如果不变，称这个性质为仿射不变性质，这个量称为仿射不变量。经过仿射对应它们也是不变的 平行四边形在仿射对应下的象还是平行四边形 场景匹配 构造vocabulary: 两部视频按48个镜头大约10000帧的图像进行visual words的提取 将提取到的visual words用K-means的方法进行聚类,得到一副词典 利用TF-IDF加权思想，对一些经常出现的visual words赋予较小的权重，对于一些不经常出现或者类似“关键字”之类的赋予一个较大的权值 场景匹配 场景匹配 例如，要从一个样本S中分出标签为L的样本，假设样本S中标签确实为L的集合为SL，分类器将样本标签分为L的集合为SLC，SLC中标签确实为L的集合为SLCR。那么， 查准率（Precision Ratio）= SLCR/SLC 查全率（Recall Ratio）= SLCR/SL PR曲线 目的：从整个视频中搜索目标，该目标可以是用户从任何一帧中选定的子区域 主要流程为： 在建vocabulary时生成stop list； 进行场景匹配； 进行关键点匹配和MSER匹配，对停用词进行抑制； 利用空间一致性reject一些散列词； 针对匹配点/区域，检查附近是否有15个已匹配的点/区域，少于则rejected。 强调了特征之间的相对位置 目标检索 停用词表 收集词频top 5%和bottom 10%的词，组织成Stop list Experiments Experiments