基于组合算法中文反垃圾邮件分类系统研究.docVIP

基于组合算法中文反垃圾邮件分类系统研究 　　摘要：论述了一种采用组合算法实现的垃圾邮件分类系统，并在Windows平台下用Visual ??Basic 6.0实现。本系统工作在邮件客户端，基于邮件内容的解析，相对于只使用基于分类器的垃圾邮件分类系统，不仅能有效快速地分类邮件，同时提高了分类的精度、降低误判率。 　　关键词：垃圾邮件； 向量空间算法； 贝叶斯算法； 组合算法 　　中图分类号：TP309.2 　　文献标志码：A 　　文章编号：1001－3695(2008)06－1825－03 　　 　　0引言 　　 　　?ツ壳埃?随着互联网在全球的普及和应用的不断发展，电子邮件系统已经成为人们最常用的通信手段之一。然而，近年来大量垃圾邮件的泛滥，违背了早期设计邮件系统的初衷，令互联网用户措手不及，严重影响了用户使用邮箱的效率。各种种类的垃圾邮件的存在，在不同程度上对用户和网络环境造成了负面影响，目前这一问题已经引起了全球范围内的热切关注。据统计，2001年垃圾邮件仅占电子邮件总量的7%，2002年即达到29%至2003年7月就超过了51%, 2004年1月高达60%。2005年7月，中国互联网络信息中心(CNNIC)发布的《第十六次中国互联网络发展状况统计报告》显示，我国网民平均每周收到14.5封电子邮件。其中：正常电子邮件为5.2封；垃圾邮件却达到9.3封。网民每周收到的垃圾邮件数是非垃圾邮件数的近两倍!据Spamhaus数据显示，截止到2006年11月17日，中国位居第二是垃圾邮件最多的国家，已发现的垃圾邮件形式为305种。因此，在我国如何全面防范垃圾邮件已成为互联网的重点研究课题，具有广泛的实际应用价值。 　　?ソ?年来，有关反垃圾邮件技术的研究开始逐步兴起，相关的投入也越来越大。目前为止，常用的解决垃圾邮件的方法有[1]：反向域名验证、黑白名单、关键词过滤、基于规则方法的过滤和基于统计的过滤等。 　　?ピ谒?有反垃圾邮件技术中，基于向量空间算法的垃圾邮件分类器具有简单、快速的特点，但是它的查全率和查准率都相对差一点[2]；基于朴素贝叶斯算法的垃圾邮件分类器是最常用的一种方法，它具有分类算法容易理解，分类精度高的等优点，所以在实际运用中都显示了良好的稳定性和精确度[3]。但是，由于朴素贝叶斯算法中假定不同的词在邮件中的出现是相互独立的，此假定在实际的邮件中是不成立的，词之间的相互依赖将导致朴素贝叶斯算法作出不恰当的估计，使得判断邮件是否属于某类邮件出现错误。邮件分类器的最终目的是不仅要分类速度够快，还要分类精度够高并尽可能地将误判率降到最低。为了实现这个想法，本文组合了向量空间分类算法和贝叶斯分类算法的优点，提出了经过组合后的新算法，目标是对于发来的一封新邮件，根据新邮件与训练集中合法邮件集的质心和垃圾邮件集的质心相似度来判定使用具体的分类算法。从而利用较少的时间获得较好的分类效果。 　　 　　??1相关工作 　　 　　1．1基于向量空间分类算法的邮件分类 　　?セ?于向量空间分类邮件算法的基本思想是[4]：用同一类电子邮件的质心代表它们的共同特征，需要被分类的邮件与质心比较，如果该邮件与质心的相似程度满足分类要求，则该邮件就可以被划分成质心所代表的这一类电子邮件。在向量空间算法中，每封邮件由空间向量模型表示，即用token（可以理解为字或词，但不仅限于字或词）出现频率表示的向量：mi=(w??i1,w??i2,…,w??in )。其中：m??i表示第i封邮件；n表示邮件空间的维数；w??ij表示每一个token的权重,它代表了该token相对于邮件来说的重要程度。表示token权重的方法有[5]TF－IDF、词频、互信息、信息熵等。本文采用TF－IDF的方法。 　　 　　?ブ市南蛄?C可以看做是具有某种特征的一组向量的平均值，在邮件分类中，它用来表示邮件集合{m}的共同特征。设整个训练集的邮件数为N封，则训练阶段的时间复杂度为O(N)。 　　 　　?ヒ环庑掠始?通过比较与垃圾邮件集和合法邮件集的质心向量的相似度，就可以把它划分到最相似的质心向量所代表的邮件类中。在分类阶段，对于每一封待分类的邮件，由于要计算两个相似度的值，时间复杂度为O(2)。可见，基于向量空间法的邮件分类是十分快速的。其在分类阶段基于向量空间法的邮件分类算法如下： 　　?? 　　??1．2基于朴素贝叶斯分类算法的邮件分类 　　?テ铀乇匆端狗掷嗨惴ㄊ悄壳霸谟始?分类中广泛使用的一种方法，其主要思想是[5]： 　　?ジ?定一个训练集（由垃圾邮件集C??s和合法邮件集组成Ch），算法首先通过计算垃圾邮件和合法邮件在训练数据中发生的次数来估计每个类别的先验概率P(Cs)和P(Ch)。对于每封邮件独立的token串