基于判别模型的垃圾邮件过滤方法.pdfVIP

第20 期 计 算 机 技 术 与 发 展 Vo1．20 No．1 2010年 1月 CoⅣ L厂rERTEa LoGYAND DEVE【PMENT Jan． 2010 基于判别模型的垃圾邮件过滤方法 许 镇 ，王洪国2，冉玉梅 ，杨玉会 (1．山东师范大学信息科学与工程学院，山东济南 250014； 2．山东省科学技术厅，山东 济南 250014) 摘 要：垃圾邮件泛滥已成为网络时代的一个重要问题，随着垃圾邮件的伪装技术的不断更新，以前主要的几种垃圾邮过 滤技术面临着新的挑战。文中提出一种新的基于判别模型的垃圾邮件过滤方法，邮件分类器通过不断的学习来更新特征 项的权重，当新的信息到达时，计算所有特征项的权重之和，并将其转化为一个概率值，如果此概率值超过某一阈值时，就 认定此信息为垃圾邮件；同时将此方法应用到实时邮件处理环境中。实验结果表明，此方法能明显地提高准确度，有效地 降低误判率。 关键词：互信息；判别模型；垃圾邮件过滤；梯度下降法 中图分类号：TP393．098 文献标识码：A 文章编号：1673—629x(2010)01—0181—04 Spare FilterM ethodBasedonDiscriminativeModel XUZhen’，WANGHong．gud，RANYu—mei，YAN GYu—hui (1．SchoolofInformationScienceandEngineering，ShandongNormalUniversity，Jinna250014，China； 2．DepartmentofScienceandTechnologyofShandongProvince，Jinan250014，China) Abstract：Smm e—mailisincreasinglybecoming agreatproblem intheIntemetage．Asthelatestgenerationofspatrlineorpomtessophis— ti~tedtactics，previoussparefilteringtechnologiesfaceanew challenge．PmposedanovelonlineSpsYI1filterbasedondiscriminativemodd． Spamclassifireupdates thewe htsoffeaturesbycontinuallearning ．Whenanewn3es88gearrives，computethesurnofallweightsand convertittOaprobability．IfthatpmhabilityisOVOdsomethreshold，predictthatthell~$8ogeisspgn~．thenappliedthe techniquetoonline processing nevironmnet．Experimentalresultsdemonstratethatitcansignificantlyraisethefiltering accuracy．effectivelyreducefalsetx)si— fives． Key、’r出：mutualinformation；discriminativenlodel；spare fiher；gradientdescent O 引 言 近年来 ，有关垃圾邮件过滤技术的研究逐渐兴起。 伴随着 Intemet的普及，电子邮件以其快捷、方 最初是从电子邮件的半结构化特性出发，寻找垃圾邮 便 、低成本的特点 日益得到了广泛地使用，成为互联网 件的特征，从邮件头、邮件体等各方面展开邮件过滤工 上最重要、最普及的应用。但是随之而来的垃圾邮件