基于智能决策邮件过滤模型.docVIP

基于智能决策邮件过滤模型 　　 【摘 要】：文章通过对智能决策支持系统结构的分析，提出了一种新的智能决策支持的E-MAIL过滤模型，开发了“智能邮件过滤系统（IEFS）”，IEFS经过实验结论分析，使垃圾邮件误判率得到了一定程度的控制，有效防止了垃圾邮件的泛滥。 　　【关键词】：智能决策　垃圾邮件　过滤过滤模型 　　中图分类号：TP文献标识码：A文章编号：1002-6908（2007）0310035-01 　　 　　1. 引言 　　 　　随着互联网的高速发展，E-MAIL已经成为现代生活中的重要通信工具，而垃圾邮件的日益泛滥，严重制约了E-MAIL的应用，尤其是在大规模客服中心及重要商业核心机构中的应用。过多的垃圾邮件占用了大量的网络带宽和空间资源，严重时将会拥塞整个Internet链路，中断Internet的部分线路的运营而造成巨大的经济损失，更为严重的是，如果用户不小心打开了携带病毒的垃圾邮件，其危害可能是致命的。垃圾邮件的解决之道可能需要多方的力量，包括法律的约束、技术解决甚至修改邮件传输协议以及广大网民的配合，而反垃圾邮件技术的核心仍在于垃圾邮件过滤方法的研究，目前使用较多的垃圾邮件自动过滤方法可以归纳为两大类，一类是基于规则的邮件过滤，主要是利用包含各种约束条件的规则集来过滤，如决策树（Decision Tree）、粗糙集（Rough Set）等方法；另一类是基于统计的邮件过滤，包括贝叶斯(Bayes)、K-最邻近（K-Nearest Neighbor，K-NN）算法以及支持向量机（Support Vector Machines，SVM）等方法，但无论是基于规则还是基于统计的方法，其基础都是针对邮件的内容和特征，利用关键词匹配的方法，对邮件进行检索。 　　 　　2. IDSS支持的E-MAIL过滤模型 　　 　　IDSS（Intelligent Decision Support System，智能决策支持系统）是在决策支持系统（DSS）基础上集成人工智能的专家系统（Expert System，ES）而形成的。以IDSS结构为基础，我们设计了一种新的电子邮件过滤模型（图1），新的邮件过滤模型主要由邮件过滤模块、用户接口、邮件分类模型库及MBMS（模型库管理系统）、垃圾邮件数据库及DBMS（数据库管理系统）、垃圾邮件特征知识库及KBMS（知识库管理系统）五大部分组成。 　　邮件接收程序不断检测邮件接收端口，将获得的电子邮件保存到邮件接收队列的队尾，当邮件接收队列中有邮件时，将队首邮件转发到邮件过滤模块。邮件过滤模块首先根据邮件的信息格式，识别出邮件文本的编码类型，然后对接收的邮件进行解码，解码后的文本直接进行内容分析，如检索出所有能反映邮件内容的关键词，以供邮件分类子模块调用邮件分类模型库中的分类规则和分类算法进行分析计算，过滤出垃圾邮件。经过邮件过滤模块分类后，邮件被分成了三类：合法的邮件，通过用户接口直接送到用户邮箱；垃圾邮件，送往垃圾邮件数据库，通过对其特征进行分析，更新垃圾邮件特征知识库，垃圾特征知识库为以后的内容检索、比较、分析提供依据。KBMS可以通过提供的垃圾邮件训练样本集来初始化和更新垃圾邮件特征知识库，也可以通过用户接口人工建立和更新。还有一类是垃圾邮件特征不明显、根据分类规则难以判断的邮件，可以通过用户接口，提交给用户进行判断，如用户认为是垃圾邮件，仍要将其送入垃圾邮件数据库，提取特征向量，更新垃圾邮件特征知识库。 　　由于模型是基于智能决策支持系统的，所以用户（或管理员）成为了系统的一部分，对于难以自动过滤的邮件，系统会通过用户接口提供建议给用户，由用户决策。这可以减少过滤的错误率。同时，垃圾邮件数据库的存在为被误判为垃圾邮件的合法邮件的人工恢复提供了可能，也可以避免用合法邮件去更新垃圾邮件特征知识库。 　　 　　3实验结论与分析 　　 　　根据图1的模型设计，我们完成了“智能邮件过滤系统（IEFS）”的开发，并收集了2788封垃圾邮件作为垃圾邮件训练样本集供系统学习，学习过程中，如果匹配出了某个敏感关键词，将这个词的词频扩大2倍；如果某个词出现在邮件的Subject 中，词频扩大3倍。统计出所有词的词频后，由高到低排序，找出词频最高的3―5个词或短语，作为该垃圾邮件的主题词，添加到垃圾邮件特征知识库中。从集成结构形式上看，IEFS属于一种DSS为主体的IDSS结构，以定量分析为主体，结合定性分析来解决垃圾邮件过滤问题。 　　智能邮件过滤系统目前已在本校邮件服务器上试运行，从运行效果来看，邮件误判率得到了一定程度的控制，部分原因是由于用户决策的引入，同时也得益于垃圾邮件特征知识库的不断更新。但在试用了一段时间后，我们发现，垃圾邮件的漏检率有小副上升，一方面是由于