基于区域语义图像标注和检索.pdfVIP

基于区域语义的图像标注和检索1 陈世亮, 李战怀, 袁柳 西北工业大学 计算机学院，陕西 西安 710072 E-mail：chensl@ 摘 要：合理的图像描述是图像检索的基础，现有的基于关键字标注的方法由于缺乏对图像 语义和特征统一描述的能力，难以准确地建立关键字和图像间的关联。采用基于图像分割、 并结合图像区域的内容特征抽取，建立图像区域与底层特征间的关联，用基于距离的分类算 法，计算区域特征间的相似性，用关键字实现图像语义的自动标注，对标注结果采用基于区 域的图像检索进行评价。 关键词：图像标注 区域语义 语义关联 1.引言 随着多媒体数据库尤其是图像库的广泛应用，图像检索技术逐渐成为研究的热点。基于 内容的图像检索(content-based image retrieval,简称CBIR)是目前图像检索技术的主流 [1]，通过自动提取图像底层视觉特征的统计信息，如颜色、纹理和形状等，作为图像的索引 特征，利用距离函数计算图像间相似性，从而判别图像间的相似程度，实现基于内容的图像 检索。CBIR具有表示客观、计算简单、性能稳定的特点，但内容特征是关于图像的统计信息， 表示不够直观，虽然避免了主观性，却缺乏对图像所蕴涵的语义信息的描述，不便于用户的 理解和描述。 用户在进行图像检索时重点关注的是图像中蕴涵的、可用自然语言描述、易于用户理解 和表示的图像语义信息，基于语义的图像检索是更理想的检索方式[2]。目前基于语义的图像 [3] 检索还停留在以手工标注为基础的基于主题的关键字查询 (Query-by-Subject) 。关键字 可以表达图像的部分高层语义，这种方法在某些场合是非常有效的，但采用手工方法用关键 字标注图像语义，由于用户对图像的理解不同，不可避免地存在主观性和不精确性。 如何有效解决底层视觉特征和丰富语义之间存在的“语义鸿沟”，为用户提供自然、简 洁、有效的图像检索方法，提高检索的精度和效率是图像检索的目标。近年来有关图像检索 的研究逐渐转向语义和内容相结合的方式，即通过图像的底层特征推知高层语义。从图像的 底层特征中自动提取语义特征，实现图像语义的自动标注，计算图像高层语义间相似程度， 作为图像检索的依据，是基于内容的图像检索领域的新课题。 1本课题得到高等学校博士学科点专项科研基金（项目编号：20022069901 ）资助 -1- 2.相关工作 有关图像标注和检索技术的研究主要包括基于内容的图像检索(CBIR)和基于关键字标 注的图像检索。基于内容的图像检索利用图像本身包含的颜色、纹理、形状、空间关系等视 觉特征提供多种形式的检索，如 IBM 的“QBIC”[4]为代表的基于内容特征的检索系统，能 提供基于范例、草图、颜色和纹理特征等形式的检索；基于关键字标注的方法则通过手工标 注图像，利用成熟的文本检索技术实现图像的检索。由于基于内容的图像检索只考虑图像的 全局特征，且缺乏对图像语义内容的描述，目前基于内容的图像检索的应用还只局限于某些 特定的领域；而基于关键字标注的方法则需要解决繁重的手工劳动及用户对语义理解上的差 异问题，结合图像特征内容实现图像的自动标注的研究逐渐提上了议事日程。 已有许多结合图像特征内容的语义标注和检索方面的研究成果，iFind[5]结合图像标注 和相关反馈技术，实现了一种基于用户反馈的半自动标注策略，通过建立关键字和图像间的 语义网络，用关键字标注图像的高层语义，以不同的权值表示图像和关键字之间的关联程度， 并引入相关反馈机制，实现对语义网络进行改进以提高性能。iFind中的语义网络如图 1 所 示，其中每幅图像可以用多个关键字标注，一个关键字也可以关联多幅图像，关联的程度用 权值表示，W 表示关键字keyword i与图像image j关联的程度。 ij