基于信息融合的多媒体内容搜索 .pdfVIP

基于信息融合的多媒体内容搜索

摘要：有效地按照基于信息融合的多媒体数据的特性搜索多媒

体信息成为亟待解决的问题。对当前多媒体内容搜索进行了深入

的研究，并试图从多媒体内容分析及融合的角度加以解决。

关键词：信息融合；多媒体；搜索

1基于信息融合的多媒体内容搜索的概念

由于基于文本的多媒体搜索所具有的局限性，人们开始研究

基于内容的多媒体信息搜索(MultimediaInformationSearch)方

法。基于内容的多媒体信息搜索是指对多媒体从低层到高层进行

处理、分析和理解，从而获取其内容并根据内容进行搜索。与基

于文本的多媒体搜索相比，基于内容的搜索能够直接对多媒体内

容进行分析，因此大部分的特征提取工作可由计算机自动完成，

从而大大节省了人力。同时，由于许多低层特征直接来源于数据

本身，因此它所反映的语义信息也就更客观更准确。基于内容的

多媒体信息搜索是新一代多媒体技术的核心课题，也是以后建立

数字图书馆、智能信息查询系统、人机交互系统的关键技术，它

在医学诊断、商品搜索、视频监督、个人图像/视频管理等领域

有着广泛的应用。

多媒体内容分析和信息融合是基于内容的多媒体搜索的两

个核心问题。多媒体内容分析是指如何有效地描述和比较图像/

视频中蕴含的丰富内容，比如颜色、纹理、形状、时间信息、人

物、事件等。多媒体内容分析是一个较为广泛的概念，它不仅包

含了多媒体内容的特征提取问题，还涵盖了多媒体内容的相似性

比较问题。可以说，内容分析是基于内容的多媒体搜索的重中之

重，它直接影响着搜索的质量。由于计算机视觉领域发展的滞后，

多媒体内容分析的发展已经到了一个瓶颈，在现有理论及技术的

基础上很难有质的飞跃。即便如此，我们仍然可以通过信息融合

技术来融合现有的内容分析成果以提高多媒体搜索的质量。信息

融合是指依照一定的准则对来自不同信息源的信息进行综合分

析以获得更高质量的信息。信息融合的概念最早来源于多传感器

融合领域，不同的信息源是指来自不同传感器的信息。而在多媒

体信息融合中，不同的信息源是指多媒体内容描述的不同方面

(Aspects)，比如多媒体的颜色信息、文本信息、时间信息、高层

概念关联信息等。由于多媒体蕴含着丰富的内容，使用单一的信

息源进行搜索很难取得理想的效果。为此，我们需要寻找一些鲁

棒的融合方法来联合多个信息源的信息，从而提高搜索质量。

2基于信息融合的多媒体内容搜索的优点和问题

多媒体搜索归根结底就是根据人的意愿(语义)找到符合用

户需求的多媒体内容的过程。对多媒体搜索的研究也就归结到如

何填补人的高层语义和媒体低层特征的“语义鸿沟”。由于多媒

体具有丰富的内容，使用单一媒体特征，很难取得令人满意的效

果，特别是对于那些简单的低层特征，如颜色、纹理等。为此，

学者们开始融合多媒体的各方面信息以增强对多媒体的搜索能

力。当前，主要的融合方法可以用分为前融合(EarlyFusion)和后

融合(LateFusion)两类。前融合是特征级的融合，其主要思想是

利用一定的组合规则将多媒体的多种特征描述组合成一个单一

的特征描述，进而利用这一特征描述来实现多媒体搜索或构建概

念检测器。其主要优点是：①组合出的特征隐含了不同特征之间

的关联信息；②只需要构建一个算法就可以实现多特征联合搜

索。但是，由于组合出的特征通常是一个维数非常高的特征矢量，

这就很容易出现所谓的维数灾难问题。和前融合方法不同的是，

后融合是一种输出级的融合，其主要思想是单独使用单个媒体进

行搜索或概念检测，最后融合所有媒体特征的搜索结果。尽管后

融合方法避免了维数灾难问题，但它需要单独的为每一个媒体特

征构建一个算法，这增加了算法的设计难度。无论是前融合还是

后融合方法，早期的研究都局限于融合媒体的低层视觉特征上。

由于低层特征本身区分能力的限制，使这些融合方法很难适应大

规模的多媒体数据库搜索。随着研究的深入，人们开始将多媒体

的更多信息融合到搜索过程中，比如OCR文本、翻录的文本、

音频信息、视频的时间信息等。

基于概念的多媒体搜索技术远没有达到可以实际应用的地

步，其主要面临以下4个问题：①缺乏大量已标注的训练集来训

练检测器；②不能找到一种泛化的概念检测器算法：③概念数量

不对称；④概念之间的相似性度量问题。

3基于信息融合的多媒体内容搜索的建议分析

多媒体检索归根结底就是根据人的意愿(语义)找到符合用户

需求的媒体内容的过程。然而，