图像语义自动标注介绍[文字可编辑].pptVIP

介绍人：李思辉 图像语义自动标注 课题介绍 1 问题提出背景 随着数字影像技术与互联网技术的迅速发展， 互联网上有约数以百亿记的图像，如何快速的检 索到用户需要的图片成为一个关键问题。 目 前 商 业 化 的 图 像 搜 索 引 擎 如 baidu 、 Google 、 Yahoo 等都是以文本关键字的形式来查 询，其关键字主要依靠人工标注及 Web 文本，工 作量巨大，且缺乏一定的客观性。 2 目前图像检索方式 （ 1 ）基于文本的图像检索 （ Text-based Image Retrieval —— TBIR ） 通过关键字检索，图像库中的关键字由人工标注，现有互联网搜索 引擎主要使用此方式。 优点：将图的检索问题转为文本的检索问题，效率高，技术成熟。 缺点：需要人工给每幅图片标注对应的若干个语义词，工作量巨大。 （ 2 ）基于内容的图像检索 （ Content-based Image Retrieval —— CBIR ） 输一幅图像，通过计算图像的可视特征（如颜色、纹理、形状等） 来实现图像的匹配与检索。 优点：无需人工标注，由计算机自动计算特征并匹配。 缺点：“语义鸿沟”使检索出的结果不能完全反映检索者的意图。 基于内容的检索结果 1 基于内容的检索结果 2 此概念于 1992 年由 T.Kato 在论文 “Query by Visual Example - Content based Image Retrieval” 中提出。最早应用是 IBM 的 QBIC 系统，是为一个俄国博物馆制作的绘画作品查询系统。 目前基于内容的图像检索系统，例如：谷歌搜图、百度 识图等，因为“语义鸿沟”的原因，都不能很好的匹配用户 的检索意图。 所谓“语义鸿沟”是指基于图像底层可视特征（颜色、 纹理、形状等）的匹配，并不能完全反映用户更高层次的语 义查询，例如：生命、呵护、沉思 … 图像检索问题的思考？ （ 1 ）如何克服方式 1 中人工标注的难题？ （ 2 ）如何克服方式 2 中“语义鸿沟问题”？ 答案：让机器代替人去做。 答案：让机器进行多示例学习。 结论： 让机器通过多示例学习后自动完成图像内容 语义的标注，即图像语义自动标注。 3 什么是图像语义自动标注 图像自动标注 （ Automatic Image Annotation ， AIA ） 就是让计算机自动地给 图像加上能够反映其内容的语义关键词。自动标注的使用可以有效改善目前 的图像检索困境。使检索在保留基于文本关键词搜索的同时，免去了人工标 注的巨大工作量，也一定程度的跨越了“语义鸿沟”。 它是图像语义理解研究领域的一个热点。由 Mori 等人在 1999 年提出。 涉及技术： 图像处理（增强、去噪、分割等）、计算机视觉（特征提取）、模式 识别（分类和理解）、机器学习（建立分类器）等。 4 自动标注方法原理 利用已标注图像集或其他可获得的信息自动学习语义概念 空间与视觉特征空间的关系模型，并用此模型标注未知语义的 图像。即试图在图像的高层语义和低层视觉特征之间建立一种 映射关系，一定程度上解决“语义鸿沟”问题。 （ 1 ）基于整幅图特征的语义映射； （自然场景、纹理、建筑，不区分前后景） （ 2 ）基于规则块或同质区域的语义映射； （比（ 1 ）多了位置区分） （ 3 ）基于图中物体识别的语义词射； （语义更准确、更丰富） 5 用于标注实验的数据集 目前较为公认的图像集是 Corel-5k ◆它由科雷尔公司收集整理，分成三部分： （ 1 ） 4000 张像作为训练集； （ 2 ） 500 张作为验证集用来估计模型参数； （ 3 ） 500 张作为测试集评价算法性能； ◆ 5000 张图片按照每 100 张一个主题，共分为 50 个主题。 ◆图像库中的每张图片被标注3∽5个标注词，训练集中 总共有 374 个标注词，在测试集中总共使用了 263 个标注词。 6 特征提取的主要方法 （ 1 ）基于颜色的特征提取 由于颜色特征具有对尺度、平移和旋转等不变的特性， 同时颜色特征是我们辨别物体的主要方法，所以基于颜色的 特征提取是目前图像特征提取的最常用方法。 常用的颜色特征提取方法有 ： ●颜色直方图法 ●颜色矩法 ●颜色聚合向量法 ●颜色相关图法 ●颜色集法 ● …… 6 特征提取的主要方法 （ 2 ）基于纹理的特征