CR-WPCA：一种针对高维小样本数据集的加权主成分分析方法.pdfVIP

第38卷第5期白城师范学院学报Vol.38No.5

2024年10月JournalofBaichengNormalUniversityOct.2024

CR-WPCA：一种针对高维小样本数据集的

加权主成分分析方法

王文杰，姜念祖，林帅男，胡敏，赵瑞

（吉林师范大学数学与计算机学院，吉林四平136000）

摘要：主成分分析（PCA）是典型的特征提取和数据降维方法，但在高维小样本数据

集的处理中，容易出现维度灾难、计算复杂度高以及过拟合等问题.针对此问题，提出了

改进的CR-WPCA方法，对样本矩阵进行方差加权，使用Chebyshev矩阵作为协方差矩

阵，经Householder正交化后，利用Rayleigh-Ritz过程计算特征值.对新方法进行了Monte

Carlo模拟实验并在6个公共数据集上评估了CR-WPCA方法的性能.在三个自然光数据

集上，通过应用CR-WPCA方法获得的重构误差平均值达到了1.1603；在三个高光谱数

据集上，结合四种分类器应用CR-WPCA方法的分类准确率平均值为0.88.

关键词：高维小样本；主成分分析；Chebyshev矩阵；Householder正交化；Rayleigh-

Ritz过程

中图分类号：G642文献标志码：A文章编号：1673-3118（2024）05-0048-09

0引言

在现代科学与工程研究领域中，高维小样本数据集已被广泛应用于多个学科.这些数据集的显著特

［1］

征在于其特征空间内含有众多特征向量，但样本数量却相对较少.高维小样本数据集具有训练速度

快、内存消耗低、数据采集成本低等优点，在生物信息学、医学影像、金融建模、环境科学等领域均有较为

重要的应用.然而，高维小样本数据集同样也面临维度灾难、计算复杂度高、过拟合、可视化困难和信息

冗余等挑战.为了解决上述问题，研究者们开发和优化了多种数据降维技术，将降维方法分为特征选择

［2-3］

和特征提取两大类.特征选择主要包括过滤式、封装式和嵌入式三类，特征提取主要包括PCA，LDA，

SPA，LLE，NMF和ICA等方法.

在众多降维技术中，PCA因其显著的降维效果、优秀的原始数据信息保留能力以及极佳的数据可分

性特点而受到广泛关注.尽管PCA在数据降维领域已有较多应用，但也存在一些缺陷.PCA的有效性可

能受到其基础组成元素（协方差矩阵）的缺陷制约，这些缺陷包括对异常值的敏感性、基于线性关系的假

设、对数据尺度的依赖以及处理高维数据时的复杂性.例如，在处理高维数据时，协方差矩阵可能接近奇

收稿日期：2024-02-28

作者简介：王文杰（1998—），男，硕士研究生，研究方向：人工智能.

通信作者：赵瑞（1975—），女，教授，博士，硕士生导师，研究方向：人工智能与数值模拟.

基金项目：吉林省科技发展计划项目（YDZJ202201ZYTS629）.

第5期王文杰，等：CR-WPCA：一种针对高维小样本数据集的加权主成分分析方法49

异或不具备满秩，这可能导致PCA捕捉到的是数据的噪声而非其真实结构，从而增加过拟合的风险.此

外，求解特征值的计算过程复杂，对于病态矩阵处理也还存在挑战.

［4］

为了克服PCA的限制并扩大其应用范围，学者们进行了深入研究和改进.Surono等提出了一种创

新的FCM聚类方法，该方法将PCA，Minkowski距离和Chebyshev距离结合起来，PCA用于降低数据维度，

［5］

提高处理效率，而C