特征联合熵的一种改进K近邻分类算法.docVIP

特征联合熵的一种改进K近邻分类算法 　　 收稿日期:2011-01-07;修回日期:2011-02-24。 　　 作者简介:周靖（1980－），女，广东茂名人，实验师, 硕士，主要研究方向：人工智能、数据挖掘； 刘晋胜（1979-），男，广东梅州人，实验师, 硕士，主要研究方向：人工智能、嵌入式系统、信号系统处理。 　　 　　文章编号:1001-9081（2011）07-1785-04doi:10.3724/SP.J.1087.2011.01785 　　 　　（广东石油化工学院 计算机与电子信息学院，广东 茂名 525000） 　　（zhoujing_1980@126.com） 　　摘 要:特征参数分类泛化性差及分类计算量大影响着K近邻（KNN）的分类性能。提出了一种降维条件下基于联合熵的改进KNN算法，其具体思路是，通过计算任意两个条件属性下对应的特征参数的联合熵衡量数据特征针对分类影响程度的大小，建立特征分类特性与具体分类过程的内在联系，并给出根据特征联合熵集约简条件属性的方法。理论分析与仿真实验表明，与经典KNN等算法相比，提出的算法具有更高的分类性能。 　　关键词:K近邻；特征；联合熵；条件属性；分类 　　中图分类号:TP301;TP311 文献标志码:A 　　Improved K-nearest neighbor algorithm for feature union entropy 　　ZHOU Jing, LIU Jin-sheng 　　（College of Computer and Electronic Information, Guangdong University of Petrochemical Technology, Maoming Guangdong 525000, China） 　　Abstract: Poor generalization of feature parameters classification and large category computation reduce the classification performace of K-Nearest Neighbor （KNN）. An improved KNN based on union entropy under the attribute reduction condition was proposed. Firstly, the size of classification impact of data feature was measured by calculating the union entropy of two feature parameters relative to any two condition attributes, and the intrinsic relation was established between classified features and the specific classification process. Then, the method which reduced condition attributes according feature union entropy set was given. The theoretical analysis and the simulation experiment show that compared with the classical KNN, the improved algorithm has better classification performance. 　　Key words: K-Nearest Neighbor （KNN）；feature；union entropy；condition attribute；classification 　　 　　0 引言 　　作为一种基于实例的分类算法，K近邻（K-Nearest Neighbor, KNN）被认为是向量模型下最好的分类算法之一［1-2］。但作为一种有监督机器学习的非参数方法，KNN却具有一些明显的缺陷：一是分类性能受训练样本分布情况影响较大，当数据分布倾斜严重时，分类性能可能很差；二是样本间距离计算量大；三是近邻间距离由大多数不能充分体现分类相关性和重要性的表面特征参数所支配，特征分类特性泛化性差。目前，就KNN分类性能不足的改进方法主要有基于粗糙集理论［3］、主成分分析（Principal Component Analysis,PCA）算法［4］及神经网络理论［1］。文献［5］提出一种基于密度的样裁剪