一种新的基于距离加权的模板约简k近邻算法.pdfVIP

第 33卷第 10期 电 子 与 信 息 学 报 Vo1．33NO．10 2011年 1O月 JournalofElectronics InformationTechnology 0ct．2011 一 种新的基于距离加权的模板约简 K近邻算法 杨金福 宋 敏 李明爱 (北京工业大学电子信息与控制工程学院 北京 1001241 摘 要：作为一种非参数的分类算法，K近邻 (KNN)算法简单有效并且易于实现。但传统的KNN算法认为所有的 近邻样本贡献相等，这就使得算法容易受到噪声的干扰，同时对于大的数据集，KNN的计算代价非常大。针对上 述问题，该文提出了一种新的基于距离加权的模板约简 K近邻算法(TWKNN)。利用模板约简技术，将训练集中 远离分类边界的样本去掉，同时按照各个近邻与待测样本的距离为 K个近邻赋予不同的权值，增强了算法的鲁棒 性。实验结果表明，该方法可以有效地减少训练样本数 目，同时还能保持传统 KNN的分类精度。 关键词：模式识别；距离加权；模板约简；K近~(KNN1 中图分类号：TP181 文献标识码： A 文章编号：1009—5896(2011)10—2378．06 DOI：10．3724／SP．J．1146．2011．00051 A NovelTemplateReductionK—NearestNeighborClassification M ethodBasedon Ⅵ ightedDistance YangJin--fu SongM in LiMing--ai (CollegeofElectronicInformationandControlEngineemng，BeijingUniversityofTechnology，Beijing100124，China) Abstract：Asanonparametricclassificationalgorithm，K—NearestNeighbor(KNN)isveryefficientandcanbe easilyrealized．However，thetraditionalKNN suggeststhatthecontributionsofallK nearestneighborsareequal， whichmakesiteasytobedisturbed by noises．Meanwhile，forlargedatasets，thecomputationaldemandsofr classifyingpatternsusingKNN canbeprohibitive．Inthispaper，anew TemplatereductionKNN algorithm based onWeighteddistance(TWKNN)isproposed．Firstly，thepointsthatarefarawayfromtheclassificationboundary aredroppedbythetemplatereductiontechnique．Then，intheprocessofclassification，theK nearestneighbors’ weightsofthetestsamplearesetaccordingtotheEuclideandistancemetric，whichcanenhancetherobustnessof thealgorithm ．Experimentalresultsshow thattheproposed approacheffectivelyreducesthenumberoftraining sampleswhilemaintainingthesamelevelofclassificationaccuracyasthetraditionalKNN． Keywords：Patternrecognition；Weighteddistan