面向内容的垃圾邮件过滤技术综述.pdfVIP

中 文 信 息 学 报 第19卷第5期 JOURNALOFCIMSESEW]FORMATTONPROCESSING Vol.19No.5 [综述〕 文章编号:1003一0(Y77(2005)05一0001一10 基于内容的垃圾邮件过滤技术综述 王 斌，潘文锋 (中国科学院计算技术研究所，北京 100080) 摘要:垃圾郊件问题日益严重，受到研究人员的广泛关注。基于内容的过滤是当前解决垃级邮件问题的 主流技术之一。目前基于内容的垃圾邮件过滤主要包括基于规则的方法和基于概率统计的方法。本文综述 了目前用于垃圾邮件过滤研究的各种语料和评价方法，并总结了目前使用的垃圾邮件过滤技术以及它们之 间的时比实验，包括Ripper、决策树、RoughSet,Rocchio,Boasting,Bayes,kNN,SVM,Winnow等等。实验结果表明， Boosting,FlexibleBayes,SVM,Winnow方法是目前较好的垃圾邮件过滤方法，它们在评刚语料上的结果已经达到 很高水平，但是，要走向真正实用化，还有很多的工作要做。 关键词:计算机应用;中文信息处理;综述;垃圾邮件;反垃圾邮件;信息过滤;文本分类 中图分类号TP391 文献标识码:A ASurveyofContentbasedAnti-spanF.madFiltering WANGBin,PANWen-fens (InstituteofComputingTechnology,ChineseAcademyofSciences,Beij吨100080,China) Abstract:ThevolumeofjunkemadsontheInternethasgrowntremendouslyinthepastfewyearsandiscausingserious problems.Content-basedfilteringisoneofthemainstreamtechnologiesusedsofar.Thispaperaimstoprovideanoverview onthestateofartinthisresearchfield,includingbenchmarkcorpora,evaluationmethodsandfilteringapproaches.Many filteringapproaches,includingRipper,DecisionTrees,RoughSets,Rocchio,Boosting,Bayes,M ,SVMandWinnow, arediscussedandcomparedinthispaper.Theexperimentalresultsshowthat， approaches,suchasBoosting,Flexible Bayes,SVM,Winnow,canachieveverygoodresultsonresearchcorpora.However,much， workshouldbedonefor practicaluse. Keywords:computerapplication;Chineseinformationprocessing;一 ;junkemail;anti-span;informationfiltering; textrl.qQif1cation 1 引言 作为互联网的第一大应用，电子邮件一直受到广大网民的青睐。但是近些年来，垃圾邮件 问题日益严重。2004年1月，中国互联网络信息中心(CNNIC)发布的第《十三次中国互联网发 展状况统计报告》显示，中国网民平均每周收到13.7封电子邮件，其中垃圾邮件占了7.9封， 垃圾邮件数量已经超过了正常邮件数量。垃圾邮件不仅耗费网络带宽和计算机时空开销，而 收稿日期:2004-09-02 定稿日期:2005一03-10 基金项目 国家973项目资助(2004CB318109) 作者简介 王斌(1972-)，男，博士，副研究员，主要研究方向