邮件应用行为式分析.docxVIP

邮件应用行为模式监测工具相关技术讨论分析 １、邮件应用行为模式监测工具技术介绍 1.1黑白名单技术 黑名单(Black List)和白名单(White List)分别是己知的垃圾邮件发送者和可信任发送者的IP地址或邮件地址。黑名单技术是最早出现的一种垃圾邮件过滤技术，一般的邮件服务器都有该功能。黑名单技术的原理是确定已知垃圾邮件制造者及其ISP的域名或IP地址、电子邮件地址，将其整理成黑名单，将黑名单部署在处理网关处，拒绝任何来自黑名单上的垃圾邮件制造者的邮件。白名单的原理是拒绝接收任何邮件，除非用户的邮件地址在白名单上。白名单提供两种使用方式：一种方法是用户阻止不在名单上的信件；另一种方式是系统邮件发送者发送信件，要求其回复，以证实确有邮件发送者其人，经过确认后将其列入白名单中。 该技术的优点是不占用计算机资源，易于实施；缺点是需要手动维护黑白名单。由于垃圾邮件发送者经常修改和伪造他们的IP地址和邮件地址以逃避反垃圾邮件手段的检测，因此该方案在总体的垃圾邮件解决方案中仅起补充作用。 1.2反向域名验证（基于邮箱地址可信度的管控工具涉及） 该技术对邮件发送者的IP地址进行逆向名字解析，通过DNS查询来判断发送者的IP与其声称的名字是否一致，来判断是否是垃圾邮件。如果反向DNS查找提供的域与邮件上的来源IP地址相符合，该邮件被接受。如果不符合，该邮件被拒绝。 由于很多反向DNS目录未被有效建立，或无法正常建立，比如，任何”vanity”域名绝大多数情况下没有一个正确的反向DNS查找。在这种情况下，由这些域发送的邮件将被阻断，造成不可接受的高误报率。 1.3关键词过滤 关键词过滤是一种基于内容检查的过滤技术，通常创建一些简单或复杂的与垃圾邮件关联的单词表来识别和处理垃圾邮件，比如”免费”、”色情”等在垃圾邮件中经常出现的词语。该方法通过对邮件的信头、信体、附件的内容进行检查，判定是否符合过滤规则，从而判定是否为垃圾邮件。这是一种简单的内容过滤方式来处理垃圾邮件，它的基础是必须创建一个庞大的过滤关键词列表。 这种技术缺陷很明显，过滤的能力同关键词有明显的联系，关键词列表造成漏报、错报的可能性比较大。垃圾邮件发送者经常会采用一些躲避关键词的技术，比如拆词、组词、将一些单词拼错，以图饶过词语过滤器，所以过滤关键词需要经常升级，以适应新的需要。现在的邮件群发软件做的也越来越智能了，由其自动生成和发送的垃圾邮件是随机生成的，不但能随机生成邮件的发件人、收件人和邮件主题，还能随机生成邮件的内容，使得该种技术目前应用范围日趋狭窄。 1.4基于规则评分的过滤技术（规则管理模块涉及） 这是一种集合了人工智能技术的应用技术。该技术对邮件进行规则判断。在规则中，每条规则对应一个分数，当邮件符合某一条规则时，就给邮件增加相应的分数，分数越高，该邮件是垃圾邮件的可能性就越高，得分超过一定值时，该邮件将被分类为垃圾邮件。该技术过滤准确率可以达到90%，但不能检测新的垃圾邮件，即漏检率高。为了能使评分有效，规则需要经常更新。； 1.5贝叶斯过滤法 贝叶斯算法是以著名数学家托马斯.贝叶斯(Thomas 贝叶斯)(1702-1761)命名的一种基于概率分析的可能性推理理论，通过分析过去事件的知识，来预测未来的事件。贝叶斯过滤法对大量用户已经判定的垃圾邮件和合法邮件进行学习，根据垃圾邮件和合法邮件中相同词语及短语出现的概率对比来确定垃圾邮件的可能性。贝叶斯过滤法可以通过不断地学习来适应垃圾邮件的新规则。贝叶斯过滤法是阻断垃圾邮件最为精确的技术之一，过滤准确率可以达到99%，但过滤准确性依赖大量的历史数据。 1.6 基于行为模式识别的过滤 垃圾邮件行为模式识别是在对大量垃圾邮件样本进行统计、分析和计算的基础上，建立垃圾邮件行为模式数学模型。其中发信行为特征包括时间、频度、发送IP、协议声明特征、发送指纹等。这种模型采用概率统计数学模型对垃圾邮件进行分析和统计，在理论计算上有着90％ 以上的垃圾邮件区分度。这种技术在实际应用中不仅可以提高垃圾邮件的识别率，而且不需要对信件的全部内容进行扫描，从而极大地提高了计算处理能力；同时，由于行为模式识别技术对邮件的判定准则与邮件内容无关，可最大限度地确保其正常通信不受影响 。 基于上述表1的比较，这里我们根据邮件系统实际应用需求暂时确定以朴素贝叶斯（或者SVM，具体使用哪种会根据线下实验结果模拟得出）加上垃圾邮件行为特征作为邮件检测、过滤的核心，辅助方法是黑白名单技术，当然我们会在该分类方法上做一些必要的调整，考虑到邮件是重要的沟通方式之一，我们必须保证使用者能够及时并且完整的收到他们的邮件，我们这里采用改进的贝叶斯算法：基于主动学习的最小风险的贝叶斯过滤算法： 分类学习对训练样本的处