基于跨媒体信息和高效图像编码算法图像搜索关键技术-key technology of image searching base on cross-media information and efficient image coding algorithm.docx

插 插 图 插 插 图 IX IX PAGE PAGE XII 插 图 1.1 论文研究内容概要。 . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2.1 展示四种采用不同搜索查询的图像搜索系统：基于文本的图像搜 索，Microsoft Bing image search的“show similar images”，基于手 绘草图的图像搜索以及我们提出的基于实体概念分布图的图像搜 索。 这里用户的搜索意图是：找出“蝴蝶在花朵左上方”的图片。 红框标出的是符合搜索意图的图像。 . . . . . . . . . . . . . . . . . 12 2.2 基于空间颜色分布的图像搜索系统VisualSEEk和基于空间形状 分 布 的 图 像 搜 索 系 统（图 片 来 源 于Egenhofer (1996); Smith and Chang (1996)）。 15 2.3 Sketch2Photo图像合成系统（图片来源于Chen et al. (2009)）。 . . . 15 Microsoft Bing Image Search的“show similar image”功能。 16 CuZero图像搜索系统（图片来源于Zavesky and Chang (2008)）。图 中右侧上方是设计为文本关键词调节权重的实体概念导航图。 . . 17 2.6 基于实体概念分布图的图像搜索系统的用户界面。 . . . . . . . . . 18 2.7 用户查询输入界面演示。(a)移动一个已经输入的关键词；(b)拉伸 与关键词关联的矩形框；(c)旋转与关键词关联的矩形框；(d)编辑 一个已经输入的关键词。 19 2.8 实 体 概 念 分 布 图 翻 译 成 视 觉 样 例 分 布 图 的 流 程 图。 这 里 以 包 含“butterfly”和“flower”两个实体概念的实体概念分布图为例。 . . . 20 2.9 对实体概念分布图的期望分布的估算。(a)是一个只含一个实体概 念“house”的实体概念分布图。 (b)是估算的(a)中的“house”的期望 分布。 (c)是一个包含两个实体概念“house”和“lawn”的实体概念分 布图（表示关键词影响范围的矩形框被显式的画出）。 (d)和(e)分 别是估算的(c)中的“house”和“lawn”的期望分布。 22 2.10 实验中用到的一些图像搜索任务示例。 这里每个搜索任务被表示 为一个实体概念分布图，以直观的表示所期望的实体概念的空间 分布（实体概念所期望的大小用相关联的矩形表示）。 . . . . . . . 26 2.11 相关度评分标准演示。(a)是一个样例搜索任务；(b)是四张图片以 及它们各自的与(a)的相关度分数。 27 2.12 (a) 三 种 不 同 图 像 搜 索 方 法 的 搜 索 性 能 的 量 化 比 较。 (b) 视 觉 样例数量V 对搜索性能的影响。 (c) 显示高级功能影响范围选择 （influence scope selection）的有效性。 28 2.13 关 于“snoopy”搜 索 任 务 的 视 觉 搜 索 结 果。 (a)是 基 于 文 本 的 图 像搜索系统对于查询词“snoopy”返回的前10张图像。 (b)是“show similar image”方法对于搜索任务“snoopy at right”返回的前10张图 像。 (c,d,e)是三个实体概念分布图（表示关键词影响范围的矩形 是默认大小所以没有画出来）以及我们系统相应的搜索结果。 (f)是我们系统找到的关于“snoopy”的视觉样例（用绿色的矩形标 出）。 搜索结果中相关的图像用红色的矩形标出。 30 2.14 对于包含多个实体概念的图像搜索任务的视觉搜索结果展示。 左 边的一列是基于文本的图像搜索系统的搜索结果。 中间一列是用 作查询的实体概念分布图（表示关键词影响范围的矩形都是默认 大小所以没有画出来）右边一列是我们的系统对于中间一列查询 的搜索结果。 搜索结果中相关的图像用红色的矩形标出。 . . . . . 31 展示视觉样例选择（visual example selection）的有效性。(a)和(c)是 两组关于实体概念“jeep”的视觉样例，代表用户分别想要找侧 面 和 正 面 的 吉 普 车。 (b)和(d)是 同 相 同 实 体 概 念 图 得 到 的 对 应 于(a)和(c)的搜索结果。 32 展示关键词影响范围选择（influence scope selection）的有效性。 (a)和(c