机器学习及应用第5章支持向量机.pdfVIP

第05章支持向量机

学习II标

函数间隔

几何间隔

对偶问题

线性支持向量机

非线性支持向量机

序列最小优化算法

5.1引言

支持向量机(supportvectormachine,SVM)是一种基于统计学习理论

(StatisticalLearningTheory,SLT)的监督学习方法。

支持向量机在各个领域内的模式识别问题中都有广泛应用，包括人脸识别、

文本分类、笔迹识别等。它不仅在解决小样本、非线性及高维模式识别等问

题中表现出了许多特有的优势，同时在函数模拟、模式识别和数据分类等领

域也取得了极好的应用效果，是机器学习最成功的算法之一。

台湾大学资讯工程研究所开发的LIBSVM是使用最广的SVM工具，包含标

准SVM算法、概率输出、支持向量回归、多分类SVM等功能，其源代码由C

编写，并有JAVA、Python、R、MATLAB等语言的调用接口等。

scikit-learn提供预封装的SVM工具，其设计参考了LIBSVM。

5.1引言

1963年，前苏联学者VladimirN.Vapnik和AlexanderY.Lernerjt研究模式识别

的广义肖像算法(generalizedportraitalgorithm)中提出支持向量方法。

1964年，他们进一步建立了函数间隔(硬边距)的线性SVM。并于上世纪70

年代，随着最大边距决策边界的理论研究、基于松弛变量的规划问题求解技术

以及SVM

的出现，VC维的提出，被逐步理论化并称为统计学习理论的重要组成

部分。

1992年，BernhardE.Boser,IsabelleM.Guyon和VladimirN.Vapnik运用核技

巧(kerneltrick)最大化边缘平面，解决非线性分类器的方法。

1995年，VladimirN.Vapnik提出了统计学习理论，较好地解决了线性不可分

的问题，正式奠定了SVM的理论基础。

5.6综合案例

ax.set_title(SVC_sigmoid_r)

ax.set_xlabel(rr)

ax.set^ylabelf^score)

ax.set_ylim(0,1.05)

ax.legend(loc=best,framealpha=0.5)

pltshowQ

if_name_==_main_:

X_train,X_test,y_train,y_test=load_data_classficationO

test_SVC_linear(X_train,X_test,y_train,y_test)

test_SVC_poly(X_train,X_test,y_train,y_test)

test_SVC_rbf(X_train,X_test,y_train,y_test)

test_SVC_sigmoid(X_train,X_test,y_train,y_test)

Coefficients:[[-00-0-0

[00-0-0

[00-1-2],intercept[2.0368826

1.15129246.3276538]

Score:1.00

poly核函数rbf核函数