SEWM2007垃圾邮件过滤系统评测.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 测评邮件集相关数据统计（4） 邮件附件类型统计 * 评测标准 * 本次测评根据测评工具得出的二元判别结果（垃圾邮件还是正常邮件）为原始数据，根据人为判断后得出的结果（index文件中的判别）为答案，计算出过滤器的误过滤hm%、sm%，根据hm%、sm%得到三个指标： 平均误过滤lam%、ROCA、h=.1 测评标准 * 测评类型 离线型 先用Public集训练，再用Private集测试 在线型（反馈） 边测试Private集边对过滤器进行训练 * hm%：正常邮件错误判断为垃圾邮件的误过滤率 sm%：垃圾邮件错误判断为正常邮件的误过滤率 （1－ROCA）％：以hm%为横坐标，以sm%为纵坐标，取不同的阈值t时，做ROC曲线，求ROC曲线上方面积。 h=.1：hm%=0.1时，sm%的值 三个指标数值越小，表示垃圾邮件过滤系统性能越好；最后将根据（1－ROCA）％值为最终判断，lam%、h=.1作为参考 测评相关公式 * 对于每个邮件，过滤器会产生一个score值，反映该邮件为spam的可能性。过滤器会确定自己的阈值t；当scoret时，邮件为spam，否则，邮件为ham