数字图像处理 A novel topic feature for image scene classification.ppt

A novel topic feature for image scene classification 图像分类的理解 根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读· 论文的主要工作 提出的一个便于图像表示的主题特征,该主题特征从码书快速线性映射 定义了表示的图像的主题特征，该特征表示了图像的场景环境信息（通过其尺寸可以灵活调整的特征向量），这使得图像可以根据场景进行现成的监督分类 在特征提取中提出的主题特征有非常低的计算量，所以很容易结合场景进行分类 算法 算法中用到的概念 码元：我们将图像看作一系列码元 码字：定义为码元聚类中心 码书：完整的码字集形成码书 LDA模型的建立：在训练集中,LDA模型通过码书建立,然后生成主题特征空间。在主题特征空间中每张图片的码字可以由我们提出的线性特征空间映射方法转化为特征向量 ，图像的标记特征向量用于训练监督式的分类器 。 论文中的分类模 型： 图像场景信息的提取 128维的区域描述SHIFT算子广泛应用于图像场景分类，该算子对于局部特征含有更多有用的信息及良好的鲁棒性 为了计算区域算子的码元，将图像分割成滑动的网格，然后用K均值算法聚类SIFT区域算子（SIFT区域算子建立滑动重叠的网格作为一个样本），并将码元聚类中心为码字，最后形成码书 LDA预备知识 码字W是图像的基本单元，并且是通过索引值{1，……，V}找到，第V个码字在数据字典里表示V向量，从而可以看出W中含有隐藏变量 图像由一系列码元组成， =（ ， ，…… ）（m=1,2,……M）, 是图像的第N个码元 W= ，是图像的数据集，在文本处理过程中，这相当于语料库。 算法-LDA模型 狄利克雷参数 特征数 码字t相对于主题topic出现的概率 是topic k 相对于图片m出现的概率 数据集中图片的数量 LDA模型的理解 是每一个document单独一个θ ，所以M个doc共有M个 整个θ 是一个M*K的矩阵（M个doc，每个doc一个K维topic分布向量）。 总共只有K个，对于每一个topic，有一个 ，这些参数是独立于文档的，也就是对于整个corpus只sample一次。不像 那样每一个都对应一个文档，每个文档都不同， 对于所有文档都相同，是一个K*V的矩阵（K个topic，每个topic一个V维从topic产生词的概率分布）。 吉布斯采样~参数评估 目的是评估后验分布： 由于分母涉及大量的变量无法分解，无法直接计算得到。所以我们采用采样计算的方法： 采样之后我们可以估计出 和 是码字t相对于topic k出现的概率 是topic k 相对于图片m出现的概率 基于LDA模型提取图像的过程 1.对图片主题特征进行采样 ~服从狄利克雷β分布； 2.从一个图片 中形成数据集 w其中 采样的主题特征θm~服从狄利克雷α分布； 3.对于图像 中含有n个码字的情况， （a）选择潜在主题特征 ~多项式（θm） （b）形成码字 ~多项式 LDA模型的生成和学习过程 实验 实验采用了如下的三组数据集： LabelMe：8个自然场景类，包含2688种颜色图像，所有图片的大小都是256 *256，这些图片包括海岸，森林，高速公路等。我们用100个图片作为训练，其余的用作测试 UIUC-Sport：8个复杂场景分类，包括1579种颜色不同大小的图像，这些图片包括岩石攀岩，羽毛球，船帆等，图像标准化为256 *256。随机取70个图片作训练，60个作测试 The 15 Scenes：4485个图片分成15类，其中的8类同LabelMe条件，剩余7类如卧室，郊区，厨房等图片标准化为256 *256，100个图片作为训练，其余的用作测试 实验过程 实验中，SIFT算子是从16*16的码元提取，并用128维的SHIFT向量表示每个码元，在训练集模型中制作一个视觉词典和主题模型，该词典中包含240个码字，定义的特征在训练集中由LDA模型