LDA分类模型与改进分类模型的对比分析.pdfVIP

第４５卷第２期吉林师范大学学报(自然科学版)Ｖｏｌ.４５ꎬＮｏ.２

２０２４年５月ＪｏｕｒｎａｌｏｆＪｉｌｉｎＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ(ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ)Ｍａｙꎬ２０２４

ｄｏｉ:１０.１６８６２/ｊ.ｃｎｋｉ.ｉｓｓｎ１６７４￣３８７３.２０２４.０２.０１０

ＬＤＡ分类模型与改进分类模型的对比分析

李华ꎬ刘洁

(长春大学数学与统计学院ꎬ吉林长春１３００２２)

摘要:考虑在协方差矩阵遵循尖峰模型的假设下ꎬ对样本协方差矩阵结构进行频谱校正ꎬ在保留大Ｓｐｉｋｅｄ特

征根的同时ꎬ增加对极小特征根的研究ꎬ以此构成的分类模型称为ＳＣ￣ＬＤＡ.通过实证对比得到以下结论:在不使

用ＰＣＡ降维的情况下ꎬ经典ＬＤＡ、Ｒ￣ＬＤＡ、Ｉ￣ＬＤＡ和ＳＣ￣ＬＤＡ的分类误差率分别为:０.３２８５、０.３２７９、０.３１９３、

０３１８３ꎬ经过ＰＣＡ算法的特征提取后的最低误分类率分别为０.３２０３、０.３１９０、０.３１３０、０.３１２０.显然ꎬＰＣＡ算

法与改进分类模型的结合ꎬ有效地提高了该模型的分类性能ꎻ同时ꎬ与其他模型相比ꎬＳＣ￣ＬＤＡ更完整地保留

总体协方差矩阵的结构ꎬ其分类性能优胜于经典ＬＤＡ、Ｒ￣ＬＤＡ和Ｉ￣ＬＤＡ.

关键词:线性判别分析ꎻ主成分分析ꎻ随机矩阵ꎻ频谱校正

中图分类号:Ｏ２１２.５文献标志码:Ａ文章编号:１６７４￣３８７３￣(２０２４)０２￣００６０￣０９

０引言

随着计算机的飞速发展ꎬ数据的获取更加便捷ꎬ科学研究的数据逐渐趋于高维甚至无穷维ꎬ经典的

分类算法显现出局限性.在高维设置中ꎬ与每个类别相关联的均值和协方差矩阵的估计都是高度不准确

[１]

的ꎬ导致分类性能的严重退化.２００８年范剑青等估计了噪声的影响ꎬ并在论文中提出了一种基于特征

[２]

选择的解决方案ꎻ２０１５年ꎬＺｏｌｌａｎｖａｒｉ等通过随机矩阵理论的最新结果ꎬ在获得正则化参数的最优估计

[３]

值的基础上ꎬ使用正则化ＬＤＡ解决了样本协方差矩阵不可逆的问题ꎻ２０２０年ꎬＨｏｕｓｓｅｍ等提出带有尖

峰协方差矩阵特征的模型—Ｉ￣ＬＤＡꎬ在减少参数估计个数、运算复杂程度的同时ꎬ保留了总体协方差矩

[４]

阵的原始结构ꎬ其分类性能也优于其他现有的ＬＤＡ模型ꎻ２０２２年ꎬＬｉ等在尖峰协方差矩阵模型的基

础上ꎬ保留大Ｓｐｉｋｅｄ特征根结构的同时ꎬ增加对极小特征根的研究ꎬ以此构成的分类模型称为ＳＲ￣ＬＤＡꎬ

通过实证发现ꎬ虽然ＳＲ￣ＬＤＡ的分类准确率高于其基础模型Ｉ￣ＬＤＡꎬ但ＳＲ￣ＬＤＡ需要通过网格搜索对两

个正则化参数进行调优ꎬ其计算成本是非常高昂的.

[３]

基于上述研究成果ꎬ本文考虑在Ｈｏｕｓｓｅｍ等提出的Ｉ￣ＬＤＡ模型的基础上ꎬ对总体协方差矩阵结

构进行频谱校正ꎬ在不引入正则化参数的前提下ꎬ增加对极小特征根的研究ꎬ提出新的分类模型———频

谱校正ＬＤＡ(ＳＣ￣ＬＤＡ).

１特征简约算法—ＰＣＡ

主成分分析(ＰＣＡ)旨在将原始数据投影到一个新的特征空间ꎬ该空间的数据主要分布在某些特定

[５￣６]

的方向上ꎬ通过最小化投影数据和原始数据之间的均方误差(ＭＳＥ)来获得该投影方向.当投影方向

的矢量具有散射矩阵的最大特征值时ꎬ标准函数的均方误差(ＭＳＥ)最小化.考虑将维度为ｐ的数据集Ｘ

投影到ｄ维空间ꎬ且该数据集Ｘ中的样本量为Ｎꎬ即

收稿日期:２０２４￣０３￣２４

基金项目:吉林省科技厅产业关键核心技术攻关课题(２０