基于最小类差异的无关信息预处理算法.pdfVIP

第 期 电 子 学 报 VoI . 31 No . 11 11 年 月 2003 11 ACTA ELECTRONICA SINICA Nov . 2003 基于最小类差异的无关信息预处理算法 陈治平，林亚平，彭 雅，王 雷，童调生 （湖南大学计算机与通信学院，湖南长沙410082 ） 摘 要： 为了降低无关信息对文本分类精度的影响，提出了基于最小类差异的预处理算法 算法通过分析文本 . 特征在类中的分布情况，将特征划分为三种类型，按照特征在各类间的分布差异，保留对分类有作用的单类特征与多 类特征，而将类分布差异较小的一般特征进行过滤. 实验结果表明，采用新算法进行分类预处理所得到的分类精度明 显优于信息增益、互信息量等预处理算法. 关键词： 信息增益；互信息量；朴素贝叶斯 中图分类号： 文献标识码： 文章编号： （ ） TP391 A 0372-2112 2003 11-1750-04 An lrrelevant lnformation Preprocess Based on the Minimal Class Difference ， ， ， ， CHEN Zhi-ping LIN Ya-ping PENG Ya WANG Lei TONG Tiao-sheng （ ， ， ， ， ） Coll . of Computer and Communication Hunan Uniuersity Changsha Hunan 410082 China Abstract ： An irreIevant feature preprocess based on the minimaI cIass difference is proposed . It computes the cIass distribution ， difference of features according to their distribution then divides the features into three types . The new preprocess keeps the features incIuding singIe-cIass features and muIti-cIass features which make for cIassification， and fiIters the generaI features with IittIe use for cIassification . The experimentaI resuIts show that better performance can be obtained using the new aIgorithm than using those aIgo-