基于贝叶斯算法的垃圾邮件过滤技术的研究及改进.pdfVIP

卷 期 燕山大学学报 年 月 文章编号：1007-791X (2009) 01-0047-06 基于贝叶斯算法的垃圾邮件过滤技术的研究与改进 张付志，伍朝辉，姚 芳 （燕山大学 信息科学与工程学院，河北 秦皇岛 ） 摘 要：随着电子邮件的应用与普及，垃圾邮件的泛滥也越来越多地受到人们的关注。本文对基于贝叶斯的垃 圾邮件过滤器的原理及其关键技术进行了详细的描述。针对朴素贝叶斯模型对分类信息过度简化 准确率低等 缺点，通过引入分级的最小风险算法和对多项式 多重贝努利估计模型进行混合的方法分别对贝叶斯过滤器进 行了改进，并进行了实验。实验结果表明，改进后的贝叶斯过滤器具有了更 过滤效果。 关键词：垃圾邮件；贝叶斯过滤器；最小风险；估计模型 中图分类号：TP393.098 文献标识码：A 引言 一种结合多重贝努利 多项式的 混合估计 模型。在此基础上对贝叶斯过滤器进行了改进，并 随着电子邮件的普及，垃圾邮件的泛滥也越来 进行了实验对比。 越多地受到人们的关注。中国互联网协会反垃圾邮 件中心在 年 月 日发布的《 年第四 贝叶斯过滤器 次中国反垃圾邮件状况调查报告》显示，中国互联 网用户平均每周收到垃圾邮件 封，已经连续 贝叶斯定理 多次超过了正常邮件的数量。大量的垃圾邮件不仅 贝叶斯定理是由托马斯·贝叶斯（ ） 占用了网络传输带宽，影响正常网络通信，更浪费 提出的计算概率的一种方法。它是通过对某一事件 了人们的时间 精力。垃圾邮件的检测 过滤已经 过去发生概率情况的考察，大体可以推断出当前这 迫在眉睫。 一事件发生的概率。它的形式化表述为：设试验 目前主要的垃圾邮件过滤技术有 类： ）基 的样本空间为 ， 为 的事件， 为 的 于 、域名和路由等的过滤技术：包括黑 白名单、 一个划分，且 ，则 实时黑名单、反向域名检测等技术； ）基于行为 的过滤技术：包括过滤群发、流量监控、挑战 回 应和蜜罐技术等； ）基于内容的过滤技术：包括 规则 （集）匹配、朴素贝叶斯（ ）、支 贝叶斯分类器 持向量机（ ）、近邻法（ ）、最大熵值法 等 。基于内容的过滤技术是目前垃圾邮件过滤技 贝叶斯分类器是将贝叶斯定理应用到文本分 术应用的主流，而在基于内容的垃圾邮件过滤方法 类领域，通过计算属于各个类别的概率，将文本归 中，朴素贝叶斯算法 因其既实现了自学习的功 为概率最大的一类。可采用向量空间模型 （ 能，又满足了个性化的要求，故而在垃圾邮件过滤 ）来表示文本，即文档被表示 中得到广泛的应用。本文在对贝叶斯过滤器分 的 成向量的形式： 基础上，引入基于分级的最小风险算法，并提出了 或者 ， 是特征项，可以是 收稿日期： 基金项目：河北省自然科学基金资助项目（ ） 作者简介：张付志 （ ），男，河南南阳人，博士，教授，主要研究方向为 数据库技术、网络资源共享与管理、智能网 络信息处理、网络与信息安全，