基于特征贡献度垃圾邮件过滤方法.pdfVIP

基于特征贡献度的垃圾邮件过滤方法* 李军，何晓宁，黄成哲，齐浩亮，雷国华 黑龙江工程学院计算机科学与技术系 ，黑龙江，哈尔滨，150050 E-mail ：ljemail@163.com 摘 要：根据邮件特征出现在垃圾邮件和非垃圾邮件中概率不同，提出了特征对邮件分类贡献度的概念， 并给出了其计算公式。使用特征对分类的贡献度对基于逻辑回归的判别学习模型进行了改进，并在TREC、 CEAS、SEWM 测试集上进行了对比实验，在所选择的数据集上，过滤器的性能都有所提高，实验取得了令 人满意的结果。 关键词：文本分类；垃圾邮件过滤；逻辑回归；判别学习；特征贡献度 Spam Filtering Based on degree-of-contribution LI Jun, HE Xiaoning, HUANG Chengzhe, QI Haoliang, LEI Guohua Department of Computer Science and Technology, Heilongjiang Institute of Technology, Harbin 150050 , China E-mail: ljemail@163.com Abstract: We advance a concept of degree-of-contribution (DC) witch measure a features contributions to Spam Filtering, based on the probability of it appears in Spam and Ham. And improve the method of discriminative learning Spam filtering based on logistic regression model with DC. The new method is test on the corpus of TREC, CEAS and SEWM and it outperforms the former. The result is satisfactory. Key words: Text classify; Spam filtering; logistic regression; discriminative learning; degree-of-contribution 1 引言 垃圾邮件的存在，破坏了和谐的网络文明，严重影响了电子邮件的使用，引起社会各 界的高度关注，自动的垃圾邮件过滤是解决这一问题的关键技术。典型的垃圾邮件过滤技 术包括：黑白名单技术、基于规则和模式匹配的过滤技术和基于机器学习方法的过滤技术 [1] 。 随着机器学习技术的发展,机器学习技术在文本分类上的应用引起了广泛的重视。由于 正确率高、成本低，机器学习技术逐渐成为解决垃圾邮件过滤问题的主流方法[2] 。机器学 习技术大体上分为两类:生成模型(如朴素贝叶斯模型)和判别学习模型(如支持向量机模型、 最大熵模型和逻辑回归模型) [ 3] 。垃圾邮件过滤问题本质上是二值文本分类问题[ 4-5]，判别 [6] 模型的分类效果要好于生成模型，尤其在小样本集的训练数据下，这种现象更为明显 。 Goodman 和 Yin 提出使用在线逻辑回归模型的判别学习方法，避免了支持向量机、最 大熵模型的大量计算，并取得了与上一年度 TREC 评测最好结果可比的结果[7] 。该方法使 用逻辑回归模型进行邮件分类，根据分类结果，调整特征的权重。但同一特征既可以出现 在垃圾邮件也可以出现在非垃圾邮件中。例如“发件人”、“收件人”、“时间”等特征，在 垃圾邮件和正常邮件中都经常出现，对于邮件的分类没有贡献，其权重值应为 0 。本文提 出了特征“贡献度”的概念，并定义了其计算公式。提出了对Goodman 的过滤方法的改进， 使用特征“贡献度”对特征的权重进行调整，在 TREC、CEAS、SEWM 数据集上进行了实 * 基金项目：国家自然科学基金重点项目）,国家自然科学