基于信息论的高维海量数据离群点挖掘精选.pdf

第38卷第7期 计算机科学 V01．38No．7 2011年7月 Science 2011 Computer July 基于信息论的高维海量数据离群点挖掘 张净1’2孙志挥1 宋余庆3 倪巍伟1 晏燕华3 (东南大学计算机科学与工程系 南京210096)1 (江苏大学电气与信息工程学院 镇江212001)2 (江苏大学计算机科学与通信工程学院镇江212001)3 摘要针对高维海量数据集离群点挖掘存在“维数灾难”的问题，提出了基于信息论的高维海量数据的离群点挖掘 算法。该算法采用属性选择，去除冗余属性降维。利用信息熵作为离群点判断的度量标准，消除距离和密度量纲的弊 端。在真实数据集上的实验结果表明，算法对高维海量数据离群点挖掘是有效可行的，其效率和精度得到了明显提 高。 关键词 离群点挖掘，信息论，属性选择，熵，互信息 中图法分类号TP311文献标识码A Outlier of the DatasetsBasedonInformation MiningHigh-dimension Theory ZHANGSUN Zhi-huilSONG Wei—weilYANYan-huaa Jin91’2 Yu-qing—NI of Scienceand 210096，China)1 (DepartmentComputer Engineering，SoutheastUniversity，Nanjing ofElectronicand (College Information 212001，China)z Engineering，JiangsuUniversity，Zhenjiang of ScienceandTelecommunications (CollegeComputer Engineering，JiangsuUniversity，Zhenjiang212001。China)3 AbstractPhenomena of“curseof lotsof outlier dimensionality”deteriorate existing miningalgorithmsvalidity．Con— thw outlier of and datasetsbasedoninformationwas cerningproblem，theminingalgorithmhigh-dimensionlarge theory usedthe ofinformationandthemutualinformationintheinformation proposed．Thisalgorithmconcept entropy theory， car