一个初审复审协作式反垃圾邮件系统.pptVIP

一个初审/复审协作式反垃圾邮件系统 作者单位：东北大学网络中心 作者：王兴伟 张登科 温占考 易秀双 报告者：张登科 模型建立 反垃圾邮件系统三层模型 层1：负责垃圾邮件的过滤工作 层2：负责垃圾邮件的整理工作 层3：负责垃圾邮件的处理响应 工作 系统架构 “初审/复审” 协作式垃圾邮件系统架构 原型系统结构 原型系统实现 基于如下目标 初审快速 复审精确 支持学习反馈 原型系统包括 主控机 邮件网关服务器 原型系统实现 通用模块子系统 邮件入库子系统 特征发现子系统 邮件初审子系统 邮件复审子系统 协同监控Agent子系统 主流群发工具特征库建立子系统 测试环境子系统 主要子系统 原型系统实现 特征发现子系统 由样本库消重、样本读取、Ngram统计、Ngram过滤、特征选择等组成 处理流程 调用消重模块对样本库中的垃圾邮件进行消重处理 调用正语料准备模块更新正语料（垃圾邮件） 调用负语料准备模块更新负语料（正常邮件） 原型系统实现 特征发现子系统示意图 原型系统实现 邮件复审 分层过滤“疑似”垃圾邮件：快速／二级内容过滤 建立与更新垃圾邮件特征库和规则库 特征匹配 分类器判定 原型系统实现 邮件复审分类器 最大熵模型 具有融合不同层次特征的能力 Boosting学习框架与最大熵模型相结合来弱化“训练语料和测试语料服从相同分布”的假设，因为在实际应用中，相对于需要测试的邮件，训练语料总是不充分的 取得了优于贝叶斯分类器的性能 实现环境 网络拓扑 性能评价及结论 1、漏报率和误报率定义 垃圾邮件判定表 (单位：封) 定义 为实际的垃圾邮件数目； 定义 为实际的合法邮件数目； 定义反垃圾邮件系统的漏判率MR和误判率FR分别为 性能评价及结论 测试名称 邮件总量 初审(MR:FR) 复审(MR:FR) 整系统 Eval I 5519 5.65% : 0% 26:64% ：4.26% 2.39% ：0.21% Eval II 5547 3.87% : 0% 20.62% ：0.98% 1.17% ：0.19% Eval III 7097 2.33% : 0.23% 30.43% : 5.08% 1.16% : 0.58% Eval IV 8178 4.81% : 0% 17.59% : 4.35% 3.61% : 0.25% 漏报率均低于5%，误报率均低于2% MR：漏报率 FR：误报率 2 测试结果 谢谢！ * * * * * * * * * * * * * * * * * * * * * * * * * *