经管类反垃圾邮件技术分析与中文垃圾邮件过滤规则研究课件.pptVIP

推广性和时效性 基于规则 推广性强 时效性差 基于统计 时效性强 推广性差 时效性 推广性 基于规则 基于统计 ？ 语义问题？ CCERT的新方法 统计规则方法 规则由统计方法自动生成 推广性 时效性 基于规则 好 差 基于统计 差 好 统计规则 好 好 CCERT的新方法和传统方法比较 SpamAssassin (SA) 免费垃圾邮件过滤系统 公开源代码 支持sendmail、qmail、Postfix、Exim MTA、MUA、POP3 基于规则，用户自定义规则 查准率高，速度快 广泛使用 SA规则例子 body DEAR_FRIEND /^\s*Dear Friend\b/i describe DEAR_FRIEND Dear Friend? Thats not very dear! score DEAR_FRIEND 0.542 正则表达式 名字 分值 说明 应用范围（信头、信体、原始信体、原始邮件、URI） 垃圾邮件判别方法 总分值 6.3，阈值 5.0?pts rule name????????????? description---- ---------------------- --------------------------------------------------?0.5 DEAR_FRIEND Dear Friend? That’s not very dear! 0.1 NORMAL_HTTP_TO_IP????? URI: Uses a dotted-decimal IP address in URL?0.0 HTTP_ESCAPED_HOST????? URI: Uses %-escapes inside a URLs hostname?0.5 HTML_60_70???????????? BODY: Message is 60% to 70% HTML?0.0 HTML_MESSAGE?????????? BODY: HTML included in message?2.9 HTML_IMAGE_ONLY_08???? BODY: HTML: images with 400-800 bytes of words?1.0 HTML_FONT_LOW_CONTRAST BODY: HTML font color similar to background?1.2 MIME_HTML_ONLY???????? BODY: Message only has text/html MIME parts 所有规则都检查 计算总分值：匹配的规则的分值之和 总分值大于阈值则是垃圾邮件 SA对中文的支持 SA主要针对英文垃圾邮件 缺乏中文规则 英文规则对中文邮件的影响 CCERT的中文垃圾邮件过滤规则集 Chinese_rules.cf (/spam/sa/Chinese_rules.htm) Chinese_rules.cf的运行框架 垃圾邮件样本 规则集 自动生成 邮件服务器 POP3代理服务器 客户端 下载 CCERT提供服务 各地用户 Chinese_rules.cf的匹配速度 Chinese_rules.cf包含约500条规则 规则简单则匹配快 Subject规则占90%、Body规则占10% 普通PC(P4 2.8G)匹配一个大小为5.0K的邮件需要0.04秒 每天能处理216万封邮件 语义问题？ Chinese_rules.cf的准确率 阈值 垃圾邮件查全率 （共3.5万） 正常邮件误判率（共14.3万） 0.5 77.4 % 4.4 % 1 70.8 % 1.6 % 1.5 64.4 % 0.8 % 2 56.9 % 0.3 % 2.5 50.2 % 0.1 % 3 44.3 % 0.0 % 3.5 38.8 % 0.0 % Chinese_rules.cf的进展 用户查看规则统计 用户使用规则统计 从9月7日至12月15日 SA 把超过4.5的邮件判为Spam，本邮件分值为10.3 如果没有中文规则集，本邮件分值只有3.1 ，将会判为正常邮件 总结 推广性、时效性和语义问题 垃圾和正常邮件样本 用户反馈信息与在线学习 Chinese_rules.cf和其它规则的冲突 语义问题在规则上的体现 多种方法的结合 Thanks! Spam service: 86-10 spam@ abuse@ Email: sundh@