基于特征熵相关度差异的KNN算法.pdfVIP

第 37卷第 17期 Vo1.37 NO.17 计算机工程 Computer Engineering 2011 茸 9 月 September 2011 ·人工智能及识到技术· 文章剿号I 1创协-3428(2011)17-014←-?3 文醺标识码I A 申团分号I TP181 基于特征煽相关度差异的 KNN 算法 周精，划胜 (广东石油化工学院计算机与电子信息学院，广东茂名 525αm 摘要z 传统 K 最近邻(KNN)法在进行样本分类时容易产生无法判断或判断错误的问题。为此，将特征销与 KNN 相结合，提出一种新的 分类算法(FECD-阳问。该算法采用销作为类相关度，以其差异值计算样本距离。用娟理论规约分类栩关度，并根据相关度间的差异值衡 量特征对分类的影响程度，从而建立距离测度与类别间的内在联系。仿真实验结果表明，与 KNN 及 Entropy-KNN 法相比，盹CD-KNN 在 保持效率的情况下，能够提高分类准确性。 关键词:K 最近邻算法;销;相关度;差异 KNN Algorithm ?ased on Feature Entropy Correlation Difference ZHOU Jing, LIU Jin-sheng (College of Computer姐d Electronic Information, Guangdong University of P，础。chemìca1 Technology. Maoming 525创)().C屈na) IAbstractl The pa阳 ameliorates 也鹏也叫出at ∞时inlωK刹earest Neighbor(KNN) wi也 entropy. a new improved a1gori由n 也很 adopting entropyas ∞，rrelation and taking differenαlS valuesωcalculate distance is proposed. which ca11s FECD-KNN. b部ed on 也.e re能缸ch 也at KNN 能sted sample in mì斗udgment and error easily. The imp也ted a1gori由m combines information en町opy 也ωry usedωstatute correlation. measures strength of impact on 也e classification accordingωdiff町ence of correlation. and estabüshes the intrinsic relation between 由e distanωand class. The contrast simulation experiment shows that. ∞mpared with KNN and En町opy-KNN. 由eimp，缸他d a1gorithm adopting the degree of c创relationω optimìze distance raised 也e rate of accuracy enormously in classification. meanwhi1e it a1so maintains e任iciency of cl创S泊cation. IKeyworl也I K-Nearest Neighbor(KNN) a1gori也m; entropy; correlation; difference DOI: 10.3969/j.issn.1000-3428.2011.l7.049 1 概远 K 最近邻(K-Nearest Neighbor. KNN)法是最著名的模式 识别统计学方法之一IIl，凭借在分类过程中优良的健壮性、 稳定性及实现方法的简单性，广泛应用于数据挖掘、图像处 理等领域。但由于 KNN 的适用前提仅局限于样本数目较大、 局部近邻区域类条件概率相同的情况lll，其分类精度仍有待 提高。娟是对信息不确定因素的反映，将情运用于 KNN 算 法的思路颇具启发性。文献[2]将条件属性的信息精益作为裁 剪特征维数的依据，并根据保留下来的条件属性相关度大小 为其赋予相应的权重，结合欧式距离公式加权计算样本间的 距离。这类方法不足之处在于如果样本特征维数裁剪过多， 势必会引起分类准确率的下降，同时由于信息增益、欧式距 离机制的计算过程相对繁琐，该算法的分类计算量也相对较 大。文献[3J提出一种基于相同特征信息娟的类可信度计算方 法(Entropy-剧N)，利用娟的大小确定样本间相同特征对分类 的重要性，并通过类可信度值对丰非本