基于策略的反垃圾邮件技术.PPTVIP

基于策略的反垃圾邮件技术－－APF 广州市大邮信息科技 前言 垃圾邮件泛滥成灾！ 2009年及2010年垃圾邮件异常猖狂 垃圾邮件层出不穷 形如用特殊字符分隔单词 将文字保存在图片里 html格式等 反垃圾邮件软件依然不足 人工智能算法/DNA算法实现依然复杂 目前识别技术无法与人脑相比 基于内容过滤的算法（如Bayes）对中文的处理能力依然薄弱。 垃圾邮件大量充斥着邮件队列！ 通信中断！损失大量合作机会！ 耗费大量网络资源，年损失几百亿美元！ 我们需要便宜、有效的手段遏止Spam! 什么技术可以胜任？ APF原理 APF 定义 APF=Antispam Policy Framework是一种利用综合策略分析SMTP信息，主要用于对付垃圾邮件的一套框架。 APS=APF Service/System主要以Client/Server模式对外提供APF完整支持的服务体系，模式类似于RBL/DNS。 为什么设计APF? RBL命中率不足，误判，即时性不够 SPF依然是Draft，国内推广困难 现有技术/框架使用部署成本很高 内容过滤技术仍不足，有待改进 分析发现SMTP阶段就可识别UCE RBL的不足 RBL属于被动还击类技术 99%的RBL都是国外组织维护 中国IP被封杀严重 准确率不够，易误杀 面临IPV6问题 SPF的不足 SPF依然是草案(Draft) 用户对SPF认知极其有限 SPF涉及DNS修改，部署起来工程浩大 国内绝大部分域名一定时期内都无法实施SPF 域名注册/管理商不提供SPF支持 反垃圾邮件部署成本高 企业自力开发/实施 技术人员AntiSpam经验丰富 综合利用多种技术 管控整个团队，耗时耗力 内容过滤技术仍需改进 Bayes算法 基于规则匹配 加权类 DNA遗传算法 分析发现SMTP阶段就可识别UCE 垃圾邮件样本分析结果：基于SMTP特征的准确率较内容过滤（使用Spam Assassin及自定义的规则）要高。 特征例子 伪造来信人(Sender) 来自Open-relay主机 正文变化多端，但都来自同一个ip地址 某个时段发送大量邮件 信头缺失或不符合RFC 统计分析结果(3-10月) UCE的SMTP特征 缺乏必需信头的信件(Header-lacking) 不符合RFC中关于电子邮件规定的信件（RFC-ignorant） 错误的信件标记信息（Header-forgery） 同样内容发送频率（Abnormal-rate）过高的信件。 APF设计宗旨 APF在设计过程中遵循了如下原则: 集中/半集中式C/S数据交换结构 难度适中的实现技术+良好的构思 使用20%的精力去对付80%的Spam 尽量使用现成的优秀自由软件方案/技术 降低使用难度，提供尽可能高的灵活性 APF基本原理(1) 三大部分构成MTAAPF客户端APF服务端(浅兰色标记） 典型的Client/ Server结构 APF 基本原理(2) V1.0 APF服务端 软件流水线 串行工作 任一异常即跳出 缺点： 只获得某个模块的判决结果 不能综合判断 APF 基本原理(2) V2.0 APF服务端 改进 模块处理相互独立 处理结果最后汇总 相互结果不影响 优点 可进行加权 用户高度定制结果 便于综合分析 APF 基本原理(3) V1.0协议 APF 基本原理(3) V2.0 协议增补了一些新的属性名及策略调整 APF 基本原理(4) 判决结果 V1.0 V2.0 应用APF的典型例子 APF的优势 综合成本低 结构简单 部署简便 能灵活定制 功能强大 APF主要策略模块介绍 Hostname dnsbl+ Ratestat MSBL/SPF+ afs Fakehelo other APF策略模块：hostname 功能：校验HELO及信头相关主机名是否合法 非法主机名例子rsproxy.myhost.local*abc$?-\/!-最新娱乐情报.请进入SzAvadsuzqp@zs%$i95qaw/khs*I() APF策略模块：dnsbl+ 描述：集成了RBL/RBLs及域名黑名单等 功能：实现了对多个不同类型的rbl/rhsbl的综合查询。 目前支持的RBL站点： (CASA) APF策略模块：ratestat 描述：连接/发送频率监视及统计 功能：对SMTP会话过程中客户的RCPT或连接频率进行统计及限制，自动封锁超标IP并能自动解封 实现细节： 内存中使用hash表来保存统计信息 对每台APS客户机都保留一个单独的hash表 多进程之间共享数据 APF策略模块：MSBL/SPF+ 描述：该模块提供了对SPF的前后向兼容支持，用于识别邮件是否经过授权发送 特点：支持标准S