垃圾邮件过滤技术探讨.pptVIP

垃圾邮件过滤技术探讨 软件室LCC组 潘文锋 2004.3.20 内容提要 问题的提出 国内外研究现状 研究路线 已完成的实验及得到的结果 下一步计划 可能的创新点 问题的提出：垃圾邮件泛滥 随着Internet的普及，电子邮件日益得到了广泛的应用，成为日常生活中人与人之间通信、交流的重要手段。但是随之而来的垃圾邮件也越来越猖獗。据统计每年美国因垃圾邮件造成的损失高达10亿美元，全球的损失更高达20亿美元（资料来源：中国反垃圾邮件联盟） 中国互联网络信息中心（CNNIC)2003年7月公布的《中国互联网络发展状况统计报告》显示，中国网民平均每周收到16.1封电子邮件，其中垃圾邮件占据了8.9封，垃圾邮件数量超过了正常邮件数量，并有进一步增长的趋势 问题的提出：垃圾邮件的危害 浪费电子邮件用户的时间 占用网络、系统资源，降低了网络的运行效率。如，大量的垃圾邮件占用网络带宽，占用邮件服务器的磁盘空间 对网络安全形成威胁。传播有害信息，危害社会；成为“黑客”的工具，利用数以亿万计的垃圾邮件造成被攻击目标瘫痪；传播计算机病毒 问题的提出：解决的手段 反垃圾邮件立法 垃圾邮件过滤技术 无论对于电子邮件服务提供商还是用户个人，都迫切需要行之有效的反垃圾邮件技术 内容提要 问题的提出 国内外研究现状 研究路线 已完成的实验及得到的结果 下一步计划 常用的垃圾邮件过滤技术（1） 白名单和黑名单 如果邮件的发送地址在白名单中，将不进行垃圾邮件检查；反之，如果发送地址在黑名单中则直接当作垃圾邮件处理 对邮件的标题、内容进行关键词匹配，识别垃圾邮件 设定其他的规则 将垃圾邮件过滤看作二类的文本分类或文本过滤问题，对邮件文本内容进行计算—文本分类、过滤技术的应用 常用的垃圾邮件过滤技术（2） 按照邮件系统的角色结构，将邮件过滤分为三类： MTA（邮件传输代理）过滤 MTA过滤是指MTA在会话过程中对会话的数据进行检查，对于符合过滤条件的邮件进行过滤处理； MDA（邮件递交代理）过滤 MDA过滤是指MDA在从MTA中接收到信件，在本地或远程进行递交时进行检查，对于符合过滤条件的邮件进行过滤处理。很多的MDA都支持在这个过程进行过滤，如Procmail、Maildrop和Cyrus-IMAP等 MUA（邮件用户代理）过滤 MTA和MDA过滤都是邮件服务器端的过滤，而MUA过滤是邮件用户的客户端的过滤。 常用的垃圾邮件过滤技术（3） 具有反垃圾邮件功能的产品，比较常用的有邮件客户端Outlook 2003、Outlook Express 6、Foxmail 5.0、Eudora 6等 这些产品大多采用白名单、黑名单、关键词匹配和规则匹配等方法识别垃圾邮件。Foxmail 5.0中使用了贝叶斯过滤，是一个亮点，需用户提供正反各1000篇以上的邮件用来训练 常用的垃圾邮件过滤技术（4） 和一般的二类文本分类、过滤问题相比较，垃圾邮件有自身的特点：-- 电子邮件有自己的内容结构，如发件人、收件 人、邮件头、标题等；-- 实时性要求较高；-- 效果要求上，人们最不希望将正常邮件误判为垃圾 邮件，因此首先要保证分类的精确律（precision），  在此基础上尽量提高召回率（recall）；-- 对客户端邮件过滤而言，要给用户提供操作简便、速 度快的反馈学习机制 本文结合邮件过滤问题的上述特点，主要讨论内容过滤 内容过滤技术（1） 贝叶斯过滤（Na?ve Bayes) 内容过滤技术（2） Memory Based Approach也叫Instance Based，无训练阶段，基于实例的，如k-近邻（k-NN）方法。这种方法分类速度比较慢 Boost、AdaBoost方法 决策树Decision Tree 常用语料（1） PU1（2000）-- 英文-- 来源于提供者一段时间内的真实邮件-- 共1099篇，包含481篇垃圾、618篇非垃圾-- 分为10份，每份约110篇，每次使用其中的9份为训 练集，另一份为测试集，共10次交叉-- 保留标题和正文，将词汇编码为整数id-- 提供了4种形式的语料：bare(Lemmatiser disabled,  stop-list disabled)、lemm(Lemmatiser enabled,  stop-list disabled)、lemm_stop(Lemmatiser enabled,  stop-list enabled)和stop(Lemmatiser disabled, stop- list enabled) 常用语料（2） Ling-Spam-- 英文-- 共2