svm在不平衡样本集中的应用研究 advances in unbalanced data sets by svm.pdfVIP

第35卷(2007)第10期 计算机与数字工程 2l SVM在不平衡样本集中的应用研究’ 姚程宽 (安庆医药高等专科学校安庆246052) Vector 摘要Vapnik等人提出基于统计学习理论的支持向量机(sVM，s“pponMacllic鹪)算法，将其运用于模式识 别中，取得了较好的效果。但传统的svM算法针对不平衡样本集时，效果很不理想，很多的科研人员对该问题进行广泛而 深入的研究，较为系统的回顾这一个研究分支在过去10年的发展动态。 关键词支持向量机不平衡数据集统计学习理论 中图分类号T∞1 两类间的间隔，可降低分类器的Vc维，实现结构 1 引言 风险最小化原则，最小化目标函数的第二项相当于 V印n-k等人在基于统计学习理论的基础上提经验风险最小化。上述二次规划的对偶形式为： 出的支持向量机(svM)算法”-4J，算法采用结构 f ● ‘ M“lIliza— max丕％一寺。三．a。叶y一乃(缸。勺) r，、 风险最小化原则(sRM，stnlctu瑚Risk 、‘， f don)，综合考虑经验风险和置信范围，使分类器不 s．t． 三a。九20，O≤d。茎c 仅有较好的分类性能和较好的推广性。算法晟终 a；为hgrange乘子。根据最优化理论中的KKT条 是求解一个凸二次规划问题，与向量的维数无关， 件，只有少量样本(判决函数值等于±1的样本和 从而避免了传统人工智能算法的很多问题。 错分样本)的a。值不为零，Vapnik等人称之为支持 样本集的不平衡性主要是指某些类的样本数 向量，这便是支持向量机名称的由来。这种原始 量多余其他类的样本数量。目前对不平衡样本集 类型的sVM有时也称为从c_sVc。 的研究的方法主要有两个大的方向： 由于对偶形式(1)中只出现两向量间的内积 ·从数据集角度，即重构数据集。 ·从算法角度，即改进算法，SVM算法是众多 (q，x，)来代替内积运算(以·≈)，实现线性算法的 人工智能算法其中的一种。 非线性化。常用的核函数包括：多项式核，径向 本文介绍与上述两个方向紧密相关的新进展 基核以及二层神经网p4J．核形式的判别函数为 (本文中的。正类”代表少类，“负类”代表多类)。 f ，(z)=蓦a；y．t(气，鼍)+6 (3) 2原始的支持向量机算法 3针对不平衡样本集的处理方法 支持向量机最初形式为二次规划问题： 1 ． f 3一支持向量机的变形算法 min寺Ilw旷+c玉矗 … ‘ …