毕业设计(论文)－谱聚类维数约简算法研究与应用.docVIP

摘要 机器学习、模式识别、信息检索和生物信息中面临着一个主要的问题：维数灾难，因此维数约简方法的研究越来越有必要。本论文以合成孔径雷达（SAR）图像目标识别、高光谱图像分类与人脸识别为应用背景，针对谱聚类算法自身具有的维数约简特性，研究基于谱聚类的维数约简算法。结合国家自然科学基金项目和，将所提出的方法应用于SAR图像目标识别、人脸识别和高光谱图像分类中。 本论文： （1）经典NJW谱聚类算法构造谱特征分析方法，对尺度参数进行研究，提出了一种基于多参数自调节谱聚类维数约简算法，并应用于手写体数字识别和SAR图像目标识别。多参数自调节谱特征传统特征变换方法得到的特征提高后续识别精度避免手动调节全局尺度参数的麻烦，尺度参数考虑了各个样本点自身的邻域统计信息，比给所有的样本点赋予相同的全局尺度参数更合理。 （2）在构造谱聚类图切的过程中加入已知类别样本点的类别信息，提出了一种基于谱聚类图切判据的监督维数约简算法。，为了降低计算复杂度提高算法的推广性能，在构造切判据的过程中只考虑k-近邻之间的类间和类内不相似性，这样能放松数据的类内方差，增大数据的类间边缘，从而获得更合理的投影矩阵。从人脸识别及高光谱图像分类实验结果可以看出，基于局部切判据监督维数约简算法提取的特征能得到更好更稳定的识别结果。 （3）基于监督维数约简算法使用核核判据监督维数约简算法当原始特征维数大于样本数时，切判据监督维数约简方法会出现奇异问题方法对原始数据的原始特征维数没有限制。将基于核切判据的监督维数约简方法用于SAR图像目标识别，实验结果验证了该方法在SAR图像目标识别领域的应用潜力。目录 摘要 1 ABSTRACT 3 第一章 绪论 1 1.1 研究背景和意义 1 1.1.1 研究背景 1 1.1.2 研究意义 2 1.2 维数约简国内外研究现状 3 1.3 论文的主要工作 5 第二章 维数约简算法的研究 7 2.1 维数约简基本概念 7 2.2 PCA和KPCA 7 2.3 LDA和KFDA 9 2.4 MDS和ISOMAP 10 2.5 LLE 11 2.6 本章小结 11 第三章 基于多参数自调节谱聚类维数约简的图像目标识别 13 3.1 引言 13 3.2 谱聚类算法简介 13 3.3 多参数自调节谱聚类 14 3.4 基于多参数自调节谱聚类的维数约简算法的构造 15 3.4.1 训练样本的维数约简 15 3.4.2 测试样本的维数约简 17 3.4.3 算法步骤 17 3.5 基于多参数自调节谱聚类维数约简的图像目标识别 18 3.5.1 UCI数据分类 18 3.5.2 手写体数字识别 20 3.5.3 SAR图像目标识别 24 3.6 本章小结 29 第四章 基于局部标度切的监督维数约简及其应用 31 4.1 引言 31 4.2 规范切与Fisher准则 31 4.2.1 规范切 32 4.2.2 Fisher准则 32 4.3 基于局部标度切的监督维数约简 33 4.3.1 标度切的构造 33 4.3.2 局部标度切 34 4.3.3 基于局部标度切的监督维数约简 35 4.4 最优维数标度切判据分析方法 36 4.5 实验及结果分析 37 4.5.1 UCI数据分类 37 4.5.2 人脸识别 40 4.5.3 高光谱遥感图像分类 41 4.6 本章小结 43 第五章 基于核标度切监督维数约简的图像目标识别 45 5.1 引言 45 5.2 基于核标度切判据的监督维数约简算法 46 5.3 实验结果及分析 47 5.3.1 UCI数据分类 47 5.3.2 SAR图像目标识别 48 5.4 本章小结 51 总结与展望 53 致谢 55 参考文献 57 研究成果 65 绪论 研究背景 研究背景 目前，众多领域的数据获取具有如下特点：首先，对于一些领域一次实验的费用十分昂贵，而对大量观察数据无法直接判断其价值；其次，两次观察之间不独立或属性之间不独立；此外，噪音数据不一定独立于问题世界；但是，相对而言，数据的存储比较便宜，所以人们不得不被动的记录所的观察数据，这样的后果就是数据的维数巨大[1]。 如果将这些高维数据直接输入进行分类器训练，可能会带来两个棘手的问题：计算复杂度高：很多在低维空间具有良好性能的分类算法在计算上变得不可行[2]；分类器的泛化能力低：在训练样本容量一定的前提下，特征维数的增加将使得样本统计特性的估计变得更加困难，从而降低了分类器的推广能力或泛化能力。所以说，数据的特征维数不是越多越好。一些特征之间会存在一定的相关性，这种相关性可能会降低最终的分类精度，而且冗余的特征会增加运算量。此外，样本的本征维数很可能远小于特征维数。因此对特征向量进行维数约简[2][3]。谱聚类方法[4][5][6][7]得到了突飞猛进的发展