图像语义自动标注介绍.pptVIP

介绍人：李思辉 图像语义自动标注 课题介绍 1 问题提出背景 随着数字影像技术与互联网技术的迅速发展，互联网上有约数以百亿记的图像，如何快速的检索到用户需要的图片成为一个关键问题。 目前商业化的图像搜索引擎如baidu、Google、Yahoo等都是以文本关键字的形式来查询，其关键字主要依靠人工标注及Web文本，工作量巨大，且缺乏一定的客观性。 2 目前图像检索方式 （1）基于文本的图像检索（Text-based Image Retrieval——TBIR） 通过关键字检索，图像库中的关键字由人工标注，现有互联网搜索引擎主要使用此方式。 优点：将图的检索问题转为文本的检索问题，效率高，技术成熟。 缺点：需要人工给每幅图片标注对应的若干个语义词，工作量巨大。 （2）基于内容的图像检索（Content-based Image Retrieval—— CBIR） 输一幅图像，通过计算图像的可视特征（如颜色、纹理、形状等）来实现图像的匹配与检索。 优点：无需人工标注，由计算机自动计算特征并匹配。 缺点：“语义鸿沟”使检索出的结果不能完全反映检索者的意图。 基于内容的检索结果 1 基于内容的检索结果 2 此概念于1992年由T.Kato在论文“Query by Visual Example - Content based Image Retrieval”中提出。最早应用是IBM的QBIC系统，是为一个俄国博物馆制作的绘画作品查询系统。 目前基于内容的图像检索系统，例如：谷歌搜图、百度识图等，因为“语义鸿沟”的原因，都不能很好的匹配用户的检索意图。 所谓“语义鸿沟”是指基于图像底层可视特征（颜色、纹理、形状等）的匹配，并不能完全反映用户更高层次的语义查询，例如：生命、呵护、沉思… 图像检索问题的思考？ （1）如何克服方式1中人工标注的难题？ （2）如何克服方式2中“语义鸿沟问题”？ 答案：让机器代替人去做。 答案：让机器进行多示例学习。 结论： 让机器通过多示例学习后自动完成图像内容语义的标注，即图像语义自动标注。 3 什么是图像语义自动标注 图像自动标注（Automatic Image Annotation，AIA）就是让计算机自动地给图像加上能够反映其内容的语义关键词。自动标注的使用可以有效改善目前的图像检索困境。使检索在保留基于文本关键词搜索的同时，免去了人工标注的巨大工作量，也一定程度的跨越了“语义鸿沟”。 它是图像语义理解研究领域的一个热点。由Mori等人在1999年提出。 涉及技术：图像处理（增强、去噪、分割等）、计算机视觉（特征提取）、模式识别（分类和理解）、机器学习（建立分类器）等。 4自动标注方法原理 利用已标注图像集或其他可获得的信息自动学习语义概念空间与视觉特征空间的关系模型，并用此模型标注未知语义的图像。即试图在图像的高层语义和低层视觉特征之间建立一种映射关系，一定程度上解决“语义鸿沟”问题。 （1）基于整幅图特征的语义映射；（自然场景、纹理、建筑，不区分前后景） （2）基于规则块或同质区域的语义映射； （比（1）多了位置区分） （3）基于图中物体识别的语义词射；（语义更准确、更丰富） 5 用于标注实验的数据集 目前较为公认的图像集是Corel-5k ◆它由科雷尔公司收集整理，分成三部分： （1）4000张像作为训练集； （2）500张作为验证集用来估计模型参数； （3）500张作为测试集评价算法性能； ◆5000张图片按照每100张一个主题，共分为50个主题。 ◆图像库中的每张图片被标注3∽5个标注词，训练集中总共有374个标注词，在测试集中总共使用了263个标注词。 6 特征提取的主要方法 （1）基于颜色的特征提取 由于颜色特征具有对尺度、平移和旋转等不变的特性，同时颜色特征是我们辨别物体的主要方法，所以基于颜色的特征提取是目前图像特征提取的最常用方法。 常用的颜色特征提取方法有： ●颜色直方图法 ●颜色矩法 ●颜色聚合向量法 ●颜色相关图法 ●颜色集法 ● …… 6 特征提取的主要方法 （2）基于纹理的特征提取 纹理是物体表面固有的一种特性，它具有区域特性和旋转不变性，反映了不同对象之间的区分。所以纹理也是图像的主要提取特征。 常用的纹理特征提取方法有： ●局部二值模式法 ●灰度共生矩阵法 ●随机场模型法法 ●基于小波变化法 ●基于Gabor滤波器法 ●自回归纹理模型法 ●结构法 ● …… 6 特征提取的主要方法 （3）基于形状的特征提取 形状是刻画物体的基本特征之一，用形状区别物体非常直观。通过形状特征的提取可以识别图像中所包含的事物或对象，从而提取出其中感兴趣的目标。 常用的形状特