反垃圾邮件防火墙的核心技术分析.docxVIP

PAGE 1 PAGE 1 反垃圾邮件防火墙的核心技术分析  现在垃圾邮件泛滥，许多企业邮箱也布满了各种各样的垃圾邮件，如何能让自己的邮箱少一些垃圾呢？这就需要有反垃圾邮件的防火墙。  垃圾邮件的来历和技术根源  SMTP协议本身是一个简化的邮件递交协议，缺乏许多必要的身份认证，这是SMTP协议造成垃圾邮件泛滥的原因之一。由于SMTP协议中，允许发信人伪造绝大多数的发信人特征信息，如：发信人、信件路由等，甚至在通过匿名转发、开放转发和开放代理等手段后，可以近乎完全的抹去垃圾邮件的发信人特征。目前，绝大多数的垃圾邮件都伪造了其真实的发信来源，这对于发觉制止垃圾邮件的传播造成了很大的困难。  SMTP协议还缺少一些必要的行为掌握，不能有效的甄别正常的邮件发送和垃圾邮件发送行为，这是造成垃圾邮件泛滥的原因之二。垃圾邮件的发送通常有一定的行为特征，比如在较短的时间内发送极其大量的电子邮件，发信通讯中通常有特定的通讯特征等。  反垃圾邮件技术手段要么是本身带有一定的缺陷，比如在垃圾邮件的推断上不能做到肯定精确，或者需要很大实现成本等等；要么就是由于实际环境的限制而不能应用，比如不能彻底推翻原有的SMTP协议而使用一种新的可以避免垃圾邮件产生和传播的邮件协议。所以，单纯依靠技术手段并不能完全解决垃圾邮件。  反垃圾邮件技术的解析  我们以一款垃圾邮件厂商博威特－梭子鱼反垃圾邮件防火墙所用的防护技术为代表，来分析一下反垃圾邮件防火墙使用了哪些技术。以下是这款反垃圾邮件防火墙使用的防护技术：  1拒绝服务攻击和安全防护  2IP阻挡清单  3速率掌握  4双层病毒扫描  5用户自定义规则  6垃圾邮件指纹检查  7邮件意图分析  8贝叶斯智能分析  9基于规则的评分系统  10解压缩文件的病毒防护  由于速率掌握、病毒扫描以及解压缩文件的病毒防护针对病毒的，属于反垃圾邮件的附属功能我们暂不争论，值得一提的是防火墙的防止DDOS攻击和反垃圾邮件防火墙防止DOS攻击是不一样的。依据博威绝技术工程师的介绍：反垃圾邮件防火墙的防止DOS攻击主要是防止往一个邮件地址在一个较短的时间内发送大量的垃圾邮件，从而形成Dos攻击。  而针对垃圾邮件的核心技术有贝叶斯智能分析、垃圾邮件指纹检查、基于规则的评分系统、用户自定义规则,其核心是贝叶斯智能分析、垃圾邮件指纹检查技术。下面我们来逐一分析反垃圾邮件过滤技术：  1垃圾邮件指纹检查  谈到对垃圾邮件的指纹检查，许多人觉得有些神奇，其实所谓邮件的指纹，就是邮件内容中的一些字符串的组合，又称为快照。就是从类似、但不相同的信息，识别其中已经被确认为垃圾邮件的信息。举例来说：假如您经常受垃圾邮件此地困扰一定对下面的词汇不会生疏：代理服务、招生、现金，是不是在你一看到他们就不免联想到垃圾邮件呢？  其实这就是垃圾邮件的指纹，和反病毒技术的特征码识别的思想是共通的。反垃圾邮件防火墙通过识别类似、但不相同的信息，找出其中已经被确认为垃圾邮件的信息，最终完成对垃圾邮件的识别。  当然指纹检查的精确性依靠于垃圾邮件的指纹库，反垃圾邮件防火墙先给邮件中出现的每一个字符赋予一个数值，值得一提的是这个数值的确定是根据特定垃圾的用词规律特点进行分类，再利用统计方法然后再给这封邮件计算出一个综合的数值。也可以依据是否与其他多次收到的邮件相似来判定（多次收到相似的邮件很可能就是垃圾邮件）。  2贝叶斯智能分析  贝叶斯智能分析的说法在我看来有赶时髦的嫌疑，主要是受上学时人工智能课程的毒害，和对智能字眼满天飞的视觉疲惫，究竟一个技术假如能和智能挂钩的话，多少显得高深了不少。事实上这个智能分析就是一个统计学定律的应用而已，当然客观的说这个统计学的应用的确让反垃圾邮件聪慧了不少。好了闲话说多了铺张大家时间,我们今日不讲贝叶斯定律，直接开始介绍贝叶斯反垃圾邮件算法，通过算法我们可以看出这个智能分析其实是将IP阻挡名单、垃圾邮件指纹检查、统计规律结合起来实现反垃圾邮件的智能分析。  贝叶斯反垃圾邮件算法如下：  1)收集大量的垃圾邮件和非垃圾邮件，建立垃圾邮件集和非垃圾邮件集。  2)提取邮件主题和邮件体中的独立字串例如ABC32，￥234等作为TOKEN串并统计提取出的TOKEN串出现的次数即字频。根据上述的方法分别处理垃圾邮件集和非垃圾邮件集中的全部邮件。  3)每一个邮件集对应一个哈希表，hashtable_good对应非垃圾邮件集而hashtable_bad对应垃圾邮件集。表中存储TOKEN串到字频