SIFT-chris.pptxVIP

图像分类图像分类要完成的工作和主要实现步骤SIFT + BoW + SVM（主要是SIFT）缺陷、现有改进和一些想法图像分类的工作内容和主要步骤图像分类：识别图像中物体，从而将图像归类模式识别：样本 → 训练/分类图像分类：图像 → 特征集 → 固定维数的样本 → 训练/分类①提取特征：关键点(SIFT,SURF,PCA-SIFT)/纹理/轮廊等②编码：BoW, SPM, ScSPM等③训练/分类：SVM, Na?ve Bayes等SIFT + BoW + SVMSIFT：特征提取从原图中找到多个关键点，统计关键点领域图像信息，对每个区域生成128维的特征描述子BoW(词袋模型)：编码将从多幅图中提取的特征集聚类，得到具有代表性的特征描述子作为“视觉单词”每幅图片可由其中出现各个视觉单词的“频率”得到一张直方图，从而可表示为一个固定维数的“样本”，样本维数就等于视觉词典的单词数。SIFT + BoW + SVMSVM：模式识别（训练/分类）“图片→样本”之后就可以用于模式识别中的训练和分类。在“Bags of Keypoints”论文中比较了SVM和Na?ve Bayes的方法后发现SVM效果更好，因而它采用SVM方法进行分类SIFT(Scale-invariant feature transform)简介：检测出图像中的局部特征点，并生成描述子的一种算法优点：尺度、旋转不变性，一定程度的光照、仿射、模糊不变性改进：PCA-SIFT, SURF, GLOH等SIFT(Scale-invariant feature transform)SIFT：流程简介①由原图产生高斯差（DoG）图像金字塔②找到极值点，精确定位和进一步筛选极值点（特征点）③统计特征点周围像素信息，生成描述子SIFT：产生DoG图像金字塔SIFT本质是要检测什么样的特征点？斑点检测SIFT：产生DoG图像金字塔SIFT本质是要检测什么样的特征点？高斯拉普拉斯（LoG）——卷积核SIFT：产生DoG图像金字塔高斯拉普拉斯（LoG）拉普拉斯算子：3x3 卷积核：缺点：对噪声很敏感为了降低噪声影响，先用参数（宽度）为σ的高斯函数对原图平滑，然后再进行拉普拉斯边缘检测SIFT：产生DoG图像金字塔尺度空间L(x,y,σ)L(x,y,σ)对x,y,σ三个变量的极值点SIFT：产生DoG图像金字塔高斯差金字塔DoG近似LoG用高斯差作为核与原图卷积，等价于先求两幅高斯平滑的图像，再作差。得到离散的D(x,y,i)SIFT：产生DoG图像金字塔高斯差金字塔DoGSIFT：产生DoG图像金字塔在DoG中求极值点类比于在L(x,y,σ)中求对x,y,σ的极值点，从而找到斑点位置SIFT：产生DoG图像金字塔细节一：DoG各层图像怎么求？SIFT：产生DoG图像金字塔细节二：为什么是S+3层？什么是检测到极值点的尺度连续性？SIFT：寻找极值点流程：粗略寻找极值点精确插值定位极值点去掉低对比度和边缘响应的极值点，筛选得到最终的极值点（特征点）集合SIFT：寻找极值点粗略寻找极值点与周围26个点比较，找出极值点SIFT：寻找极值点?计算插值，精确定位极值点令D’(x)=0, 得到 去除低对比度的点, 认为对比度太低，去除SIFT：寻找极值点去除边缘上的点图像中的点：平坦处的点，边缘上的点，角点平坦点与角点的两个主曲率差别较小，而边缘点差别较大SIFT：寻找极值点?去除边缘上的点Hessian矩阵：Hessian矩阵的两个特征值，与该点处两个主曲率大小成正比。于是可以用Hessian矩阵特征值的比值（） 来表示两个主曲率的比值，超过某阈值就认为是边缘上的点，去除SIFT：寻找极值点完整流程：SIFT：寻找极值点以上就完成了从寻找极值点，到精确定位，再到进一步筛选的全过程。得到了最终的极值点 (x,y,σ)集合下一步就是在这些极值点（特征点）附近的区域统计像素点特征，生成描述子SIFT：生成描述子要求一：保证旋转不变性方法：首先统计特征点领域图像的主梯度方向，然后将描述子“计算窗口”旋转到这个主梯度方向，在这个旋转后的框里去划分区域并计算描述子要求二：保证光照不变性方法：将描述子归一化描述子统计的是领域图像的梯度信息。不同光照条件下，梯度的值可能不同，但相同物体的各个部分梯度的比例是大致相同的，那么归一化描述子后，光照影响就能被大大减小SIFT：生成描述子SIFT：生成描述子寻找主梯度方向在极值点附近宽度为 d 的框内统计各个像素点梯度的方向和模值d = k * σ_octv, 其中σ_octv表示组内尺度用直方图统计角度在0°~360°的梯度模值加权（高斯权）和，每10°一个柱，总共36个柱直方图中的峰值就是主方向，其它达到最大值的80%（且高于左右两边的值）的方向，作为辅助方向再生成