垃圾邮件的概念漂移及过滤技术研究.docxVIP

中国科技论文在线 垃圾邮件的概念漂移及过滤技术研究 师文轩，殷爱茹 （南开大学软件学院，天津 300071） 摘要：垃圾邮件与垃圾邮件过滤构成了相互博弈的生态系统。一个长期有效的垃圾邮件过滤技术必须能够自适应的应对垃圾邮件随时间和用户偏好而产生的各种变化，这种变化在机器学习领域中被称为概念漂移。提出双级别的概念漂移检测算法，监视已有的垃圾邮件过滤模型在对邮件分类时是否产生了持续的分类错误，进而对概念漂移进行识别。针对由用户偏好 引起的垃圾邮件概念范畴变化，基于本体论提出邮件数字指纹与概念子类别之间的关联强度和隶属度的算法。通过对比实验，验证了所提方法在垃圾邮件概念漂移问题上的有效性。关键词：机器学习；垃圾邮件过滤；概念漂移；数字指纹 中图分类号：TP391.1 Research on concept drift and filtering in spam ecosystem Shi Wenxuan, Yin Airu (College of Software, Nankai University, Tianjin 300071) Abstract: Spam and spam filtering constitutes a game spam ecosystems. A long-term effective spam filtering technology should self-adaptive response to kinds of spam variations generated with time and user preferences, and which is known as concept drift in machine learning area. The dual-level concept drift detection algorithm was proposed to discern concept drift in which sustained misclassification was monitored when email classification. Regarding the spam concept scope changes caused by user preferences, the association and subjection strength algorithm was proposed between email fingerprints and concept subcategories based ontology. The proposed method was proved effective to handle the concept drift problem in spam filtering by comparing experiment. Key words: machine learning; spam filtering; concept drift; fingerprinting 引言 垃圾邮件与垃圾邮件过滤构成了相互博弈的生态系统（Spam Ecosystem）。一方面，为了避开垃圾邮件过滤技术的识别和阻隔，垃圾邮件发送者会不断的变化垃圾邮件的格式、内容、发送方式等，从而使基于历史垃圾邮件的特征建立的过滤技术失效。另一方面，随着盈 利目的或者推广意图的不断变化，垃圾邮件发送者会随着时间推移和根据不同的用户群体调整所发的垃圾邮件的内容、格式或发送方式等。 垃圾邮件的特征随时间推移而不断变化，必然会导致垃圾邮件的概念范畴不断的发生变化，另一方面，对垃圾邮件的定义会随着用户的偏好而有所不同，也会导致垃圾邮件的概念 [1, 2] 。 范畴产生变化，这两种情况被称为垃圾邮件过滤领域中的概念漂移问题（Concept Drift） 垃圾邮件概念范畴的变化可能是随时间推移而产生的邮件特征和样本分布的变化，也可能是随用户关注而产生的偏好变化。因此，对于有效的垃圾邮件过滤技术来说，需要找到检测概 念漂移问题的方法，进而提出针对原有垃圾邮件过滤技术的误识率不断增加问题的解决策略。 提出双级别的概念漂移检测算法，根据概念漂移的程度，针对造成误分类的数字指纹设定不同的权重惩罚参数；对于造成垃圾邮件误识的数字指纹，降低其指示器分值，对于生成 基金项目：高等学校博士学科点专项科研基金资助课题（20130031120042） 作者简介：师文轩（1977-），男，讲师，数据挖掘与机器学习 - 1 - 中国科技论文在线 日期较老、权重值一直很小的数字指纹，采用渐进遗忘机制将其从知识库中删除。 1 概念漂移 垃圾邮件的发送一般都携带着一定的商业或政治意图，而