反垃圾邮件机的研究和实现.pdfVIP

反垃圾邮件机的研究与实现 赖均黄迪明胡德昆 (电子科技大学计算机科学与工程学院，成都610054) 摘要：本文提出了一种基于贝叶斯方法的透明接人／可以分布协作的反垃圾邮件机，讨论了其工作的基本思想 及理论依据，并设计出该系统的模块结构。其中特别对该系统的邮件特征提取和自学习机制的理论进行了较 为详尽的研究分析。最后，我们讨论了系统实现。 关键词：邮件过滤．分类器，特征提取，遗传算法，风险决策，分布式通信 件样本的内容的词条(token)进行统计，并得到相 1引言 应词条的权值【2]Value(token)，选定概率从大到小 从反垃圾邮件联盟的召开和微软的反垃圾大 的前二十个词条作为基本特征元。其次，我们将 会的召开，我们可以看出世界范围的反垃圾邮件 得到的特征元一一邮件原文的出现的顺序为单位 的重要性越来越为人们所认识．目前采用了许多 组成mZ维的特征向量，再采用遗传算法对特征 方法来阻挡垃圾邮件，这对垃圾邮件大量在网络 向量进行选择，从而得到最优的邮件特征向量。 上游荡起了一定的限制作用，但是仍有许多垃圾 再其次，假定邮件特征服从正态分布，把邮件特征 邮件通过伪造和欺骗及多路由等手段，使得传统 分为两类，通过贝叶斯算法对邮件特征进行有监 的方法作用极其有限。因此，我们通过对主要的 督的学习，求出邮件特征的整体分布。其后，我们 反垃圾邮件机制进行研究的基础上，在此提出一 可得在某些邮件特征向量的情况下的邮件分类概 种透明的垃圾邮件过滤系统，它着重于对传统的 率。最后，我们根据决策风险值计算判决风险，以 贝叶斯方法提出改进，并使其实现系统的分布式 经验风险最小为准则函数进行风险决策一一基于 协作。其特色在于：透明使用遗传算法可分布 风险决策的贝叶斯分类器(用于对邮件的分类的 协作风险决策。透明性是指我们可以把该反垃 判别)。 圾邮件机加入网络的任何～个地方。而遗传算法 2．1用遗传算法进行特征提取 则提高了传统的基于统计方法垃圾特征提取的可 我们把邮件到来事件近似看为马尔柯夫链， 适应性，以增强对故意加入非可识别字符的垃圾 由此，每次只需对邮件数量一定的队列进行学习， 邮件的文本的识别能力。分布式协作，则可以把 获得的特征可反映当前的到来的邮件的特征分 互联网上的同类邮件机对垃圾邮件的自识别结果 布。每阶段学习结束，我们选定最优的11个特征 进行通信，再通过统计综合，作为本地的垃圾邮件 向量用于对邮件的判别估计。设得到的特征向量 0m 特征对本地邮件进行拦截。 为噩∈(中，tjltf2，…，z妇)其中0in+1 本文以下对采用的方法进行较为详细的分析 ，j“k)f(k)为该类词统计值，tJ为属性词条。,i 和研究；并在最后提出了该系统的实现框架结构， 采用算法如下： 我们对系统进行了测试，并对实验结果得出了简 (1)令进化代数t=0。 略的结论。 (2)给出初始化群体P(t)为特征向量集x= (Tl，T2，．．．，Tk。，)其中s为本阶段学习的邮件 2基于遗传算法特征选择和贝叶斯学习 个数，，并令)(异为任一特征向量个体。 的自学习功能分析 (3)对P(t)中每个特征向量进行估值，估值 本