异常点稳健成本敏感学习及其应用.pdf

摘要

摘要

随着互联网技术的飞速发展，我们每天所获取的信息量呈指数级增加，传

统数据分类方法的局限性日益凸显。因此，利用机器学习的数据分类技术受到

广泛关注。然而，由于数据覆盖范围与数据不平衡度的持续增大，传统机器学

习分类算法容易出现异常值难以准确识别、类别差异无法有效刻画等问题。因

此，本文以支持向量机算法（supportvectormachine，SVM）为依托，利用成本

敏感学习和模型平均方法构建了兼具成本敏感性和稳健性的分类算法。本文提

出的方法主要分为两个阶段。第一阶段是在SVM优化过程中，通过在正负类的

合页损失（hingeloss）中引入不同的错判代价，构建成本敏感支持向量机（cost

sensitivesupportvectormachine，CS-SVM），以实现成本敏感分类。第二阶段是

在SVM的信息准则基础上，推导了CS-SVM的信息准则，并利用信息准则和

交叉验证两种方法估计模型平均权重，构建了基于模型平均的稳健成本敏感支

持向量机。考虑到计算量的限制，本文还采用了三种用于CS-SVM变量重要性

排名的算法：递归特征消除技术、L1惩罚和Fisher得分。利用变量排名对嵌套

模型做模型平均，大大降低了计算难度。采用MonteCarlo方法的模拟结果显示，

在对不平衡数据分类时，CS-SVM极大地降低了正类的误判概率，带来比SVM

更低的优化风险。同时，采用模型平均方法能带来比信息准则更低的成本敏感

风险和标准化合页损失。使用真实数据的实证结果显示，本文提出的方法能带

来比标准支持向量机更低的分类代价和泛化风险，分类结果更加稳健与可靠。

关键字：支持向量机；成本敏感学习；模型平均；稳健优化。

I

Abstract

Abstract

WiththerapiddevelopmentofInternettechnology,theinformationweobtainev-

erydayisincreasingexponentially.Meanwhile,thetraditionalmethodsofdataclassi-

ficationarebecomingincreasinglylimited.Therefore,dataanalysistechnologiesusing

machinelearninghavereceivedwidespreadattention.However,duetothecontinuous

increaseofdatacoverageanddataimbalance,traditionalmachinelearningclassifica-

tionalgorithmsarepronetoproblemssuchasdifficulttoaccuratelyidentifyoutliersand

ineffectivedescriptionofcategorydifferences.Therefore,basedontheSupportVector

Machine(SVM)algorithm,inthisthesisweconstructedaclassificationalgorithmwith

bothcostsensitivityandrobustdecisionmakingbymeansofcost-sensitivelearningand

modelaveraging.Theproposedalgorithmismainlydividedintotwostages.Thefirst

stageisthatbyusingthemisclassificationcostsofpositiveandnegativeclasstocontrol

differentcategori