提高国内垃圾邮件过滤系统的性能-中文Web信息检索论坛.PPTVIP

主要内容 测评背景与目的 数据集生成方法 数据集统计特征 过滤评测标准 测评结果分析 总结与讨论 测评背景与目的 测评背景 垃圾邮件的泛滥 规模上的增长 技术上的提高 反垃圾技术不断更新 目前各种技术各有优缺点 技术的更新始终没有跟上垃圾邮件的“进步” 有效控制垃圾邮件泛滥需要借鉴多领域的知识，更需要来自不同领域、掌握不同技术的泛垃圾人员的交流 相对于英文，中文垃圾邮件过滤在技术、语料库等方面有较大差距。 测评目的 希望为致力于垃圾邮件处理的国内外研究组织提供一个交流的平台 ； 提高国内垃圾邮件过滤系统的性能； 丰富一个以中文为主的邮件数据集； 提供一个标准的开放垃圾邮件测试工具。 数据集的生成 生成的原则 真实反映实际系统所接收的邮件流 内容特征 到达过程 适当加工以适应评测要求 去除垃圾邮件中的冗余部分 合成部分正常邮件 其它（去除隐私等） 数据集生成--邮件流内容特征 语言 中文 其他 编码方式 Base64 7Bit etc. 附件类型 gif, doc... 邮件长度 数据集生成--到达过程 不同时段的密度分布（基于校园网的邮件日志） 垃圾/正常邮件的出现频率 大约3:1 垃圾邮件来源 真实垃圾邮件 校园网垃圾邮件过滤系统过滤下来的垃圾邮件 用户报告垃圾邮件 涵盖90%以上的垃圾邮件 数据集加工—去除垃圾邮件冗余（1） 超过60%的垃圾邮件为重复发