基于神经网络方法的语义级图像分级分类.pdfVIP

基于神经网络方法的语义级图像分级分类 周兆捷 吴乐南 吴冬升 东南大学 无线电工程系, 江苏 南京 210096 E-mail: zhouzhaojie@ 摘 要： 本文提出了首先根据空间颜色特征采用基于自组织稀疏 RAM 的 n-tuple 神经网络 （SSn-tuple）进行室内和室外图像的场景分类，再根据 Canny 算子检测得到的边缘方向信 息采用 SSn-tuple神经网络进行城市和乡村图像的场景分类，取得了较好的分类效果。 关键词：基于内容的图像检索；语义分类；自组织映射；N-tuple分类器；稀疏分布存储器； 1. 引 言 数字图像和视频检索技术随着大规模集成电路（VLSI ）、宽带网（ISDN，ATM ）和图 像/视频压缩标准（JPEG/MPEG ）的发展变得非常重要。从 1970 到 1990 年代，图像检索的 发展也从以视觉特征为图像索引的面向特定应用的小规模图像数据系统发展到以面向网络 环境支持基于内容检索的大规模图像数据库系统。 目前已经有许多文献提出了基于内容的图像检索方法[1]，大致可分为基于低层视觉特 征和高层语义特征两类方法。在现实生活中，用户主要根据图像的含义来进行图像的检索操 作，而不是根据图像的低层特征如颜色、纹理、形状等进行的，这是因为图像的含义包含了 人对图像内容的理解。因此语义检索显然是比基于低层特征检索更合理的图像检索方法，语 义检索的目的是使计算机检索图像的能力接近人的理解水平。 图像场景的分级分类是图像语义检索系统的一个重要环节[2]，Vailaya 等[3]在这方面进 行了大量的工作，他们利用一系列 2 类 Bayes 分类器的组合，通过全局的低层视觉特征获得 简单的场景分级分类信息。本文着眼将神经网路技术引入图像场景的分级分类，即将提取得 到的图像低层视觉特征交由基于自组织RAM 的n-tuple 神经网络模型[4]来学习训练及分类， 以期得到较好的图像场景的分级分类效果。 2. 图像的低层视觉特征提取 本文首先是区分一幅图像是室内的还是室外的；再对室外图像区分它是城市的，还是乡 村风景。 图 1 为室内、室外、城市、乡村图像的示意。 文献[5]指出空间颜色特征是室内-室外图像的分类一种简单有效特征，在此采用的方法 是将图像划分为互不重叠的 16 块，对每一块提取均值和方差，这样对于一幅彩色图像的 3 个颜色通道共得到 3×16×2 ＝96 维特征 （3 个颜色通道， 16 个图像块，再加上均值和方差）， 而且可以采用不同的颜色空间。 文献[6]提出了采用 Canny 边缘算子检测得到图像的边缘方向直方图作为城市-乡村图像分类 特征的算法，主要步骤包括：采用标准偏差为 1，模板大小为 9 的高斯滤波器对图像进行平 - 1 - 滑；边缘检测；间隔 5°量化为 72 柄直方图。 1 高斯滤波 Si,j I (i,j ) *G(i,j ;σ) 2 计算沿 x 轴方向的梯度 P {S −S +S −S }/ 2 （1） i ,j i ,j +1 i ,j i+1,j +1 i+1,j 3 计算沿y 轴方向的梯度 Qi ,j {Si ,j −Si+1,j +Si ,j +1 −Si+1,j +1}/ 2 （2） 4 计算梯度大小得到边缘图像 M P 2 +Q2 （3） i ,j i ,j i ,j  if M ≥M