集成Logistic与SVM的二分类算法.pdfVIP

ComputerEngineering口 ，fc口 计算机工程与应用 2011，47(29) 149 集成Logistic与SVM 的二分类算法 谢 玲，刘琼荪 XIE Ling，LIU Qiongsun 重庆大学 数学与统计学院，重庆 400030 College ofMathematicsand Statistics，Chongqing University，Chongqing 400030，China XIE Ling。LIU Qiongsun．Integrated binary-classclassification algorithm based onLogisticand SVM C·omputerEngi· neeringandApplications，2011，47(29)：149—150． Abstract：By probability values，the outputofLogistic regression can be divided into fourcontinuous intervals，and the fre quencyofclassification ineachinternalcanbecalculated．BasedonLogisticregressionandSupportVectorMachine(SVM)， an integrated binary．classclassification algorithm isproposed．The validity ofBLR—SVM isillustrated by numericalresults on severaIUCIdatasets． Keywords：Logisticregression；SupportVectorMachine(SVM)；binary-class；integration 摘 要：对Logistic回归的输 出结果通过概率分析划分为四个连续的区间，计算各个区间内训练样本的正确分类频率，由此将 Logistic回归与支持向量机对样本的输出结果进行比较，构造了一种集成判别规则的二分类算法。实证分析表明提 出eq$~-g 法具有较好的分类效果 。 关键词：Logistic回归；支持向量机；二分类；集成 DOI：10．3778~．issn．1002—8331．2011．29．042 文章编号：1002．8331(2011)29—0149—02 文献标识码：A 中图分类号：TP301．6 1 引言 2 Logistic回归和SVM 分类是数据分析与机器学习领域的基本问题。国内外学 2．1 Logistic回归模型 者对分类算法的研究已有大量的研究成果，具有代表性的算 Logistic回归模型 堤：一种广义的线性回归模型，二元Lo． 法有 近邻 、决策树 、贝叶斯 、支持向量机 、遗传算法 、粗糙集 gistic回归(Binary LogisticRegression，BLR)是Logistic回归 和神经网络等。 的最简形式 ，其回归模型如下所示： 支持向量机(SVM)是根据Vapnik提出的统计学习理论发 1 d+ P(y，=l — 【1) 展而来 ，它以坚实的理论基础和良好的泛化性能被广泛应用 l+ e l+ e 于模式识别等诸多领域。尽管SVM算法已取得较好的分类 其中，P(Y，=1)为第 i个样本 X，状态下事件 =1)发生的 效果被人们广泛使用，但是在实际应用中还存在某些不足 ，例 概率 ，记作P，(0p1)，通过logit变换 ，可得如下模型： 如对多指标 、大样本的识别效果往往不尽人意。因此