大规模视频库组织与检索.pdf

人规模视频库的纽织‘，榆索：摘篓 摘要 Internet的普及和多媒体技术的发展使人们面临呈爆炸性增长的视觉信息，基 于内容的视频检索有着广阔的应用盼景，成为非常活跃的研究领域。本文主要针对 大规模视频库的组织与检索技术进行研究，目的是实现对海量视频数据的存储、有 效组织、快速精确的检索。本文研究内容涉及特征索引方法、视频语义分类方法、 ● 相关反馈方法、视频片段的相似度量以及视觉内容特征的表示等问题。取得的主要 ， 成果包括： 0 1．基于关键帧序列融合的视频片段检索方法：相似视频片段之间至少有一对 关键帧相似，所以首先查找至少有一个相似关键帧的片段作为候选视频片段，然后 再计算候选视频片段与范例视频片段的相似度，可以避免无关的视频片段相似度的 计算。本文提出用融合多种特征的联合分布直方图来表示视频内容的方法，并使用 颜色、纹理联合分布直方图进行视频子镜头分割，子镜头用关键帧表示。检索时， 对范例视频片段的每个关键帧检索到相似的关键帧，所有的相似关键帧按照时间连 续性融合为视频片段，它们与范例视频片段的关键帧之间形成多对多的匹配关系。 删除冗余的关键帧匹配对，形成优化的关键帧匹配序列，然后综合考虑视觉相似性 和时间顺序相似性计算整个视频片段的相似性。实验表明本文的方法符合人的视觉 特性并有较低的时间复杂度。 2．基于语义监督的特征聚类索引方法和基于Bayes的视频语义分类方法：理 想的视频库组织方法应该把语义相关并且特征相似的视频的特征向量相邻存储。针 对大规模视频库的特点，在语义监督下作视频库低层特征的层次聚类划分，当一个 聚类中只包含一个语义类别的视频时，为这个聚类建立索引项，这个聚类称为索引 聚类。统计低层特征和高层特征的概率联系，构造Bayes分类器。用分类器可以对 其它视频数据作语义分类。查询时对用户的查询范例，用Baycs分类器对查询范例 作语义分类，在该语义范围内查询相似视频片段．本文的方法不仅提高了检索速度 而且提高了检索的语义敏感度。 3．集成低层特征和语义信息的相关反馈方法：提出了一种基于Bayes理论的 低层特征和语义信息相结合的相关反馈方法，只用很少的反馈次数就可达到很好的 效果。本文认为正反馈和负反馈的低层特征空间都是多个分量的混合高斯分布，以 便更准确的估计查询空间的复杂分布，并且把正负反馈样本扩展到样本所在的索引 聚类，以这些聚类形成的分类器修正相似距离。同时根据证负反馈样本的语义信息 用Bayes方法推测J下反馈语义空『白J和负反馈语义空问，计算数据库样本属于乖反馈 语义空间和负反馈语义空间的概率，修正视觉相似性，得到语义相近的查询结果． 4．一种快速高效的纹理谱描述子：依据纹理视觉特性提出了纹理模式等价类 中国科学院博l‘学位论文——人捌模说颍库的组织’J拎索 的概念，从而得到更合理的纹理谱描述子。该纹理谱描述子在图象旋转00、900、 1800，270。以及水平翻转、垂直翻转、J下对角线翻转、反对角线翻转的情况下是不 变的，具有很好的旋转鲁棒性。可以在不同尺度下很好的描述领域内图象象素的灰 度变化情况，具有良好的视觉一致性。 基于本文的研究内容，实现了一个基于内容检索的视频图象库原型系统 并通过交互界面为用户提供基于内容的图象和视频片段检索。 关键词：视频库，基于内容的视频检索，基于聚类的索引，视频分类，相关反馈， 纹理谱，关键帧匹配。 太规模税频库的纽织’，榆索： Abstract andRetrievalin VideoDatabase Organizati