基于视觉注意力模型图像检索研究.pdfVIP

基于视觉注意力模型的图像检索的研究1 高静静，张 菁，沈兰荪 北京工业大学 信号与信息处理研究室，北京（100022 ） E-mail：gaojj@ 摘 要：随着数字图像和视觉心理学的飞速发展，使用视觉注意力模型进行图像检索成为一 个新的研究方向。本文首先给出了基于视觉注意力模型的图像检索系统的框图，并介绍了几 种面向图像检索的视觉注意力模型原理，然后分析和总结了其性能，最后展望了应用于图像 检索的视觉注意力模型的发展前景。 关键词：图像检索；视觉注意力模型；感兴趣区 中图分类号：TP391 1.引言 随着多媒体技术和因特网技术的飞速发展，数字图像资源急速增多，人们对图像信息的 检索需求也不断扩大[1] 。但是现有检索系统检索结果的相关度较低，用户难以获得满意的结 果[2] 。这是由于检索结果的好坏与用户对图像的理解，即用户对图像感兴趣的内容直接相关。 现有研究表明[3]，用户在观察图像的时候，最容易引起用户注意的部分往往是用户感兴趣的 部分；也就是图像中最“与众不同”的部分，即与周围其他部分相比更加显著的部分。视觉 注意力模型就是用来得到图像中最容易引起注意的部分，并用图像表达这种显著性的方法。 因此，利用视觉注意力模型进行图像检索[4-13]可以有效的缩小图像低层特征与高层语义之间 的鸿沟（即语义鸿沟），成为当前人们研究的热点。 本文介绍了应用于图像检索的一些主要的视觉注意力模型，通过对其原理和特点的分 析，为更好的研究视觉注意力模型提供了一些思路。 2.视觉注意力模型与图像检索 利用视觉注意力模型进行图像检索的系统如图 1 所示，首先，通过视觉注意力模型得到 感兴趣区（显著区）或显著点，然后提取相应的特征，并与图像特征库中的图像特征进行比 较，得到检索结果。本节针对一些主要的视觉注意力模型进行详细阐述。 图1 基于视觉注意力模型的图像检索系统 2.1 基于 Itti 模型的图像检索 1本课题得到高等学校博士学科点专项科研基金（20040005015）、国家自然科学基金60402036) 和北京市自然科学基金（4062006）资助。 - 1 - Itti 模型是由 Itti 等人[4-5]提出的，是最经典的视觉注意力模型之一。该模型的基本思想 （如图2 所示）是，从输入图像中提取多方面的特征，如颜色、方向、亮度等，通过高斯 金字塔和中央周边（center-surround ）操作算子形成各个特征的关注图（Conspicuity Maps ）， 然后归一化、融合得到显著图（Saliency Map ）；在此基础上，通过赢者取全神经网络 [14]相互竞争吸引注意焦点，使得最显著区域胜出，即得到感兴 （Winner-Take-All ，WTA ） 趣区或注意区；最后通过返回抑制机制抑制当前显著区域，使注意力转向下一个最突出的 区域。 图2 Itti 模型流程 由于 Itti 模型在目标检测效果和运算速度上有突出表现，近年来受到研究者的广泛关 注。目前，国内外许多学者对 Itti 模型进行了研究，提取一定的感兴趣区，可以将其应用到 [5-7] 图像检索中 。 2.1.1 Bottom-Up 模型 Bottom-Up 模型[3,4]是由视觉刺激驱动的信息处理过程，不考虑特定的认知任务对视觉 注意的影响，是基于输入图像的显著性来计算的。 Rutishauser 和 Walther 等人[6]在 Itti 显著图的基础上用 WTA 选取最显著的点，然后找出 对该点的显著性贡献最大的关注图，用区域增长的方式分割该关注图得到相应的感兴趣区。 采用关注图是因为关注图中的特征较少，可以更容易对图像进行分割。该方法提取的最感兴 趣区如图 3 所