一种融合贝叶斯优化的K最近邻分类算法.pdfVIP

第44卷第5期绵阳师范学院学报（自然科学版）Vol.44No.5

2025年5月JournalofMianyangTeachersCollege（Science）May2025

一种融合贝叶斯优化的K最近邻分类算法

高海宾

（淮南联合大学信息工程学院，安徽淮南232001）

摘要：K最近邻分类算法因其简单直观，在分类和回归任务中得到广泛应用，但其性能高度依赖于

超参数配置.为了解决这一问题，提出了一种融合贝叶斯优化的K最近邻分类算法，旨在能自动化地调整

KNN算法的超参数，以提高分类精度和泛化能力.首先概述了KNN算法的基本原理，并分析了超参数对算

法性能的影响.随后，探讨了贝叶斯优化的基础理论及其在超参数优化中的应用.实验过程中，通过对

Wine数据集的分类验证了算法的有效性和可靠性，再通过一系列实验，对比了贝叶斯优化、网格搜索和随

机搜索等方法在不同规模数据集上的性能，结果显示，贝叶斯优化在大规模数据集上展现出显著的时间效

率优势，能够快速收敛至最优或近似最优的超参数配置.最后讨论了该算法的局限性，并提出了未来可能

的研究方向.

关键词：K最近邻算法；贝叶斯优化；超参数；分类性能

中图分类号：TP301.6文献标志码：A文章编号：1672-612X（2025）05-0079-09

DOI：10.16276/j.cnki.cn51-1670/g.2025.05.012

ABayesianOptimization-IntegratedK-NearestNeighbors

ClassificationAlgorithm

GAOHaibin

（SchoolofInformationEngineering，HuainanUnionUniversity，Huainan，Anhui232001）

Abstract：TheK-NearestNeighbors（KNN）classificationalgorithmhasbeenwidelyusedinbothclassifica⁃

tionandregressiontasksduetoitssimplicityandintuitiveness.However，itsperformanceishighlydependenton

theconfigurationofitshyperparameters.Toaddressthisissue，thisstudyproposesaKNNclassificationalgorithm

thatintegratesBayesianoptimization，aimingtoautomatetheadjustmentofKNNshyperparameterstoenhanceclas⁃

sificationaccuracyandgeneralizationcapability.Firstly，thebasicprinciplesoftheKNNalgorithmareoutlined，

andtheimpactofhyperparametersonalgorithmperformanceisanalyzed.Subsequently，thetheoreticalfoundation

ofBayesianoptimizationanditsapplicationinhyperparameteroptimizationareexplored.Inth