第七章支持向量机算法.pptxVIP

支持向量机 支持向量机是数据挖掘中的一项新技术，是借助于最优化方法解决机器学习的问题的新工具，它由Vapnik等根据统计学习理论提出的一种新的机器学习方法，它以结构风险最小为原则，它本质上是求解凸二次规划问题，在解决小样本、非线性和高维模式识别问题中有较大优势。 HistorySVM是一种基于统计学习理论的机器学习方法，它是由Boser,Guyon, Vapnik在COLT-92(Computational Learning Theory)上首次提出，从此迅速发展起来，目前已经在许多智能信息获取与处理领域都获得了成功的应用。 统计学习理论 统计学习理论主要包括VC理论、泛化性的界、结构风险最小化等。 VC维的直观定义：对于一个指示函数集，如果存在k个样本能被函数集中的函数按所有可能的2k种形式分开，则称函数集能把k个样本打散； 对于一个给定集合S={x1, ... ,xd}，如果一个假设类H能够实现集合S中所有元素的任意一种标记方式，则称H能够分散S（shatter）。 VC维反映了函数集的一种学习能力。VC维越大则学习机越复杂。***************统计学习理论VC维：23=8平面上任何一条直线都不能正确划分1维不可分问题xf f(x) = sgn(w. x + b)a线性可分问题yestdenotes +1denotes -1How would you classif