基于层次聚类法的Entropy-KNN算法.pdfVIP

2012年第 1期 漳州师范学院学报 (自然科学版) No．1．2012年 (总第 75期) JournalofZhangzhouNormalUniversity (Nat．Sci．) GeneralNo．75 文章编号：1008．7826(2012)01-0043-05 基于层次聚类法的Entropy-KNN算法 童先群，周忠眉 (漳州师范学院 计算机科学与工程系，福建 漳州363000) 摘 要：KNN算法通过近邻样本的个数分类。Entropy．KNN算法给出新的相似度定义，而且投票时综合待 测样本与近邻样本的个数和各类近邻的平均距离，但两种算法均未考虑近邻样本间的相似．提出的基于层次聚类 法的Entropy．KNN算法，首先对训练集按类别进行层次聚类，接着在与待测样本最相似的子类中选取近邻样本， 使得近邻样本具有较高的相似度，最后结合 Entropy．KNN算法进行分类．在蘑菇数据集上的实验结果表明，该 算法的分类准确率高于Entropy-KNN算法． 关键词：分类；KNN算法；信息熵；聚类 中图分类号： TP391 文献标识码： A Entropy·KNNAlgorithm BasedonHierarchicalClustering TONG Xian-qun，ZHOU Zhong-mei (DepartmentofComputerScienceEngineering，ZhangzhouNormalUniversity,Zhangzhou，Fujian363000，China) Abstract：TheclasslabelofthetestsampleonKNN isdecidedbytheK nearestneighbors numbersonthe respectiveclass．Onalgorithm Entropy-KNN，wenotonlydefineadistanceofthetwosamples，butalsodecidethe classlabelofthetestsamplebytheaveragedistanceandthenumbers on therespectiveclass．ButtlIeyarenot focusonthesimilaritydegreeofhteK nearestneighbors．whichisusefult0theclasslabelofthetestsample·On thecontrary，weproposeEntropy-KNN algorihtm BasedOHclustering．Atfirst，htesamplesofhtedifferentclass labelareclustered．Second，weselecttheK nearestneighborsfrom thechildclusters，whichisnearesttothetest sample．Finally，wedecide the classlabelofthe testsampleby algorihtm Entropy-KNN．W eperform our experimentson mushroom dataset．Theexperimentalresults show thatourapproach has much betterthan algorithm Entropy-KNN． Keywords：classification；K-NearestNeighboralgorithm ；informationentropy；clustering l 引 言 对一个待分类的未知样本 。KNN算法…首先在训练样本中找到与待分类样本最相似的K 个近邻，然后 根据 K个近邻中多数属于哪一类，就把未知样本分为哪一类．在离散型数据集中，两样本间的相似度通常 根据属性值相同的个数来度量．KNN算法只考虑近邻样本的个数，未考虑各类中近邻样本的平均相似度．