基于视觉语言模型的图像语义挖掘研究.pdf

第５７卷 第５期　２０１３年３月 基于视觉语言模型的图像语义挖掘研究 ■ 金聪　刘金安　金枢炜 ［摘　要］针对图像的特性，给出一种图像的二元视觉语言模型，在此基础上提出一种新的图像语义挖掘 方法。该方法将每幅图像表示成一个由视觉单词构成的矩阵，通过计算每个视觉单词的权重，按照权重的大小 对视觉单词进行选择，利用选择后的视觉单词集合，构建图像的视觉语言模型；之后，按照贝叶斯公式，建立基 于视觉语言模型的图像语义挖掘方法。实验结果表明，该方法在图像语义描述能力和区分性方面是有效的，能 充分反映人对图像内容的理解，具有很好的应用价值。 ［关键词］视觉语言模型　图像语义　语义挖掘　性能优化 ［分类号］ＴＰ３９１．４ １　引　言 因此，图像语义的自动挖掘可以有效地避免基于人工 标注的图像挖掘系统所面临的一系列问题，使得图像 　　随着网络技术的发展和移动网络的不断普及和应 语义自动挖掘的应用更具有现实性。同时，图像的自 用，网络上的数字图像以指数级的速度飞速增长。对 动语义挖掘［７］也是图像数据管理的重要前提。然而图 海量图像资源进行快速的语义标注和内容挖掘是进行 像自动语义挖掘的研究并不顺利，这是因为图像分类 ［１－４］ 图像检索 、图像挖掘等工作的前提和基础。 方法本身并不完善。图像本身千变万化，通常具有丰 　　已有的图像挖掘方法大多是基于图像底层视觉特 富的语义，而用户对图像语义的理解又常常具有主观 征实现的，这种实现方法的优点是图像视觉特征提取 性和易变性，因此图像的语义挖掘仍然是一个非常困 简单、可操作性强、计算速度快等，缺点是建立在底层 难和极具挑战性的问题。 视觉特征基础上的图像底层视觉相似性与人类感知的 　　本文针对中国古典文学图像的特点及已有方法的 图像高层语义相似性之间存在着明显的不一致性。例 不足，构建了一种二元视觉语言模型，在此模型的基础 如，由底层视觉特征获得的相似度很高的两幅图像看 上，进一步提出了一种新的图像语义挖掘方法。 上去可能完全不同。这种基于底层视觉特征的图像相 似度和高层感知相似度之间的不一致性就是著名的语 ２　视觉语言模型 义鸿沟。图像本身具有明显的不确定性和非结构性， 　　视觉语言模型是一种分析图像块空间相关信息的 这种不确定性和非结构性难以保证图像挖掘的准确 模型。一幅图像可以分成很多区域，每个区域可以根 性。另外，图像底层视觉特征对于普通用户来说不仅 据它的视觉特征用一个视觉单词表达。这些视觉单词 很难理解，而且也很难由此来表达自己图像挖掘的目 之间不仅存在空间依赖性，也存在共发频率。利用视 的。上述这些不足已经严重阻碍了图像挖掘方法的发 觉单词间的这些特性，可方便地挖掘图像的语义。 展和实用进程。 　　自然语言处理的最小语义单位是单词，与此相对 ［５］ 　　目前，图像语义 挖掘领域的研究重点是基于图 应，图像的最小语义单位是视觉单词。假设图像的视 像语义的图像分类，即加入人类认知行为的图像语义 觉单词按照某种规律排列，如果这种排列是完全随机 挖掘，其核心在于从已有的训练数据中对高层语义概 的，则无法反映有意义的图像语义。为方便起见，假设 念与图像的底层视觉特征的关系进行自动建模，利用 视觉单词并非相互独立，邻近的视觉单词服从某种排 ［６］ 学习到的模型对未分类的图像语义进行自动挖掘 。 列规律，通过对视觉单词排列规律的建模来挖掘图像 本文系教育部人文社会科学研究规划基金项目“中国古代小说图像的语义研究”（项目编号：１１ＹＪＡＺＨ０４０）研究成果之一。 ［作者简介］金聪，华中师范大学计算