基于贝叶斯算法垃圾邮件过滤技术与研究与改进.pdfVIP

第33卷第1期 燕山大学学报 Vbl．33No．1 JournalofYanshan Jan． 2009 2009年1月 University 007·791 文章编号：1 X(2009)01-0047—06 基于贝叶斯算法的垃圾邮件过滤技术的研究与改进 张付志，伍朝辉，姚芳 (燕山大学信．E-科学与工程学院，河北秦皇岛066004) 摘 要：随着电子邮件的应用与普及，垃圾邮件的泛滥也越来越多地受到人们的关注。本文对基于贝叶斯的垃 圾邮件过滤器的原理及其关键技术进行了详细的描述。针对朴素贝叶斯模型对分类信息过度简化和准确率低等 缺点，通过引入分级的最小风险算法和对多项式和多重贝努利估计模犁进行混合的方法分别对贝叶斯过滤器进 行了改进，并进行了实验。实验结果表明，改进后的贝叶斯过滤器具有了更好过滤效果。 关键词：垃圾邮件；贝叶斯过滤器；最小风险；估计模型 中图分类号：TP393．098文献标识码：A 0引言 一种结合多重贝努利和多项式的尸(破IG)混合估计 模型。在此基础上对贝叶斯过滤器进行了改进，并 随着电子邮件的普及，垃圾邮件的泛滥也越来 进行了实验对比。 越多地受到人们的关注。中国互联网协会反垃圾邮 件中心在2008年1月28日发布的《2007年第四 1贝叶斯过滤器 次中国反垃圾邮件状况调查报告》显示，中国互联 网用户平均每周收到垃圾邮件16．71封，已经连续 1．1贝叶斯定理 多次超过了正常邮件的数量。大量的垃圾邮件不仅 贝叶斯定理是由托马斯·贝叶斯(1702-1761) 占用了网络传输带宽，影响正常网络通信，更浪费 提出的计算概率的一种方法。它是通过对某一事件 了人们的时间和精力。垃圾邮件的检测和过滤已经 过去发生概率情况的考察，大体可以推断出当前这 迫在眉睫。 一事件发生的概率。它的形式化表述为：设试验F 目前主要的垃圾邮件过滤技术有3类：1)基 的样本空间为S，彳为E的事件，蜀，岛，…，曰。为S的 、 于IP、域名和路由等的过滤技术：包括黑／白名单、 一个划分，且尸U)0，P(曰f)O(芦l，2，…，功，则 实时黑名单、反向域名检测等技术；2)基于行为 肿，I彳)≤型墨遗垃，i=l，2，…，力 的过滤技术：包括过滤群发、流量监控、挑战-回 ∑刚lBj)P(Bj) 应和蜜罐技术等；3)基于内容的过滤技术：包括 规则(集)匹配、朴素贝叶斯(NaiveBayes)、支 1．2贝叶斯分类器 持向量机(S、，M)、七近邻法(k-NN)、最大熵值法 贝叶斯分类器是将贝叶斯定理应用到文本分 等“1。基于内容的过滤技术是目前垃圾邮件过滤技 类领域，通过计算属于各个类别的概率，将文本归 术应用的主流，而在基于内容的垃圾邮件过滤方法 为概率最大的一类。可采用向量空间模型(Vector 中，朴素贝叶斯算法圆因其既实现了自学习的功 SpaceModel，VSM)来表示文本，即文档被表示