一种基于加权支持向量机的垃圾邮件过滤方法.pdfVIP

200 9年12 月 山东师范大学学报 自然科学版 Dec ．2009 第24卷第4期 J our nal of Sh a ndon g Nor ma l Uni ve r si t y Nat ur al Sc i ence V01．2 4 No．4 一 种 基 于 加 权 支 持 向 量 机 的 垃 圾 邮 件 过 滤 方 法 木 陈孝礼 刘培玉 “ 张立伟 山东师范大学信息科学与工程学院，2 00 14，济南 ／／第一作者23岁，男，硕士生 摘要基于内容的垃圾邮件过滤本质上是文本分类问题，支持向簧机分类器非常适合于垃圾邮件过滤这一二分类问题，但 标准的支持 向鼍机是基于分类精度进行优化的，对两类邮件的霍要性末以区别，造成了邮件分类时虽然铤体精度较高，但对正常 邮件 的误判率也较高．据此笔者提出了一种基于加权支持 向最机 的垃圾邮件过滤算法，通过增加两类邮件 的类别权重及反映每封 邮件霞要性的权重，对支持 向量机分类器进行训练，在保证分类精度 的同时，尽可能地降低对正常邮件 的误判率 ．实验表明该算法 取得 了很好 的过滤效果 ． 关键词垃圾邮件过滤 ；加权支持 向量机 ；文本分类 中图分类号TP 301 文献标识码A doi ：10 ．3969 ／j ．i s s n．100 1—4748．2009．04 ．004 基于内容的垃圾邮件过滤方法是目前垃圾邮件过滤研究的重点．与一般 的文本分类问题相比，邮件过滤有其 自身的特点 是一种样本不平衡 的分类 问题，即用户可 以容忍接收到l O封垃圾邮件，但却不能容许一封正常邮件被误判为垃圾邮件而被丢 弃，而且对于正常邮件 ，它们 的重要程度也不尽相同，它们的误分类代价也是不 同的? ． 目前，基于 内容的过滤方法主要分为基于规则的方法和基于统计的方法两大类．基于规则学习的方法有决策树方法、 Boost i ng方法和粗糙集方法等．规则方法的主要优点是可 以生成人类理解 的规则．缺点是在规律性不明显的应用领域效果较 差 ．基于统计的方法有基于支持 向鼍机的过滤器、基于贝叶斯理论的过滤器还有基于神经网络的过滤器等，其 中基于支持向 量机分类器非常适合于垃圾邮件过滤这一二分类 问题，但标准的支持 向量机是基于分类精度进行优化的，对两类邮件 的重要 性未加 以区别，造成 了邮件分类时虽然整体精度较高，但对正常邮件 的误判率也较高，这一缺点阻碍 了这一方法在实际应用 中的推广 ．下面提 出一种用加权支持 向量机进行垃圾邮件过滤 的算法，并通过实验分析算法的过滤效果 ． 1 标准支持向量机原理 标准支持向量机 Suppor t Vect or Machi ne 是Cor t e s 和Vapni k于199 年首先提 出的，它在解决小样本、非线性及高维模式 识别 中表现 出许 多特有 的优势 ，并能够推广应用到函数拟合等其他机器学习 问题 中心】． 支持向量机方法是建立在统计学习理论的旧维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂 性 即对特定训练样本的学习精度，Accur acy 和学习能力 即尤错误地识别任意样本的能力 之间寻求最佳折衷，以期获得最 好 的推广能力 或称泛化能力 ．针对两类分类问题寻求一个满足要求的最优超平面，使得这个分类超平面在保证分类准确度 的同时，能够使得超平面两侧 的空 白区域 分类间隔 最大化 ，从而保证分类器有最好 的泛化能力． 在进行文本分类 的时候，首先给定训练样本集r 并假定训练集线性不可分，每一个样本 由一个向量 由文本特征所组成的 向量 和一个标记 样本 的类别标记 组成，如下： T 毛，Yj l i I ，2，?，Z ， 其中气表示第i 个样本的向量，鼍E R。，Y；为分类标记，Yi ∈ + 1，一l ，Yi ：l 代表正类，Y； 一l 代表负类． 因训练集不是完全线性可分，因此找不到一个超平面能够完全正确地划分所有样本，即并不能使所