计算机硬件及网络支持向量机.pptxVIP

2022-9-9 1 内容提要 概述 线性可分情况理论 线性不可分情况 支持向量机模型 核函数 支持向量机网络 第1页/共33页 2022-9-9 2 SVM简介 90年代中期在统计学习理论的基础上发展起来的一种机器学习方法 (Boser,Guyon,Vapnik) 适合有限样本(小样本)问题 在很大程度上解决了传统方法（如神经网络）中存在的问题，如过学习、非线性、多维问题、局部极小点问题等 统计学习理论和支持向量机被视为机器学习问题的一个基本框架，传统的方法都可以看作是SVM方法的一种实现 有坚实的理论基础和严格的理论分析 第2页/共33页 2022-9-9 3 概述 一、向量的内积与超平面 第3页/共33页 2022-9-9 4 概述 二、 最优分类平面 第4页/共33页 2022-9-9 5 概述 二维数据最优分类线的基本要求： 1、要能将两类样本无错误的分开 即使经验风险最小，理论上为零 2、要使两类之间的距离最大 也就是使margin最大，从而使实际风险最小 第5页/共33页 2022-9-9 6 概述 我们要做的是什么呢？ 找到一个超平面(最优分类面)，使得它能够尽可能多的将两类数据点正确的分开，同时使分开的两类数据点距离分类面最远。 第6页/共33页 2022-9-9 7 H H2 H1 最优分类平面 为最优分类平面的方程 第7页/共33页 2022-9-9 8 SVM原理之线性可分 设线性可分样本集为(xi, yi), i=1,2,…,n,x∈Rd, y∈{+1,-1}是类别标号。 则d维空间中线性判别函数的一般形式为: g(x)=w·x+b 分类面方程为: w·x+b=0 (1) 第8页/共33页 2022-9-9 9 SVM原理之线性可分 将判别函数进行归一化,使两类所有样本都满足 |g(x)|≥1,即,使离分类面最近的样本的|g(x)|=1,这样分类间隔就等于2/‖w‖,因此间隔最大等价于使‖w‖(或‖w‖2)最小;而要求分类线对所有样本正确分类,就是要求其满足: yi[(w·xi)+b]-1≥0,(i=1,2,…,n) (2) 第9页/共33页 2022-9-9 10 SVM原理之线性可分 我们解决这样问题的思路是什么呢？ 首要的就是设法找到解决问题的数学模型！ 我们的问题是： 找到满足上述式（2）、且使‖w‖2的分类面。 其实这个分类面就是最优分类面！ 第10页/共33页 2022-9-9 11 SVM原理之线性可分 支持向量（SV）在那呢？ 能使式（2） yi[(w·xi)+b]-1≥0,(i=1,2,…,n) 中等号成立的，也就是位于margin 上的样本就是支持向量。 第11页/共33页 2022-9-9 12 SVM原理之线性可分 最优分类平面求解的数学模型 我们的求解过程显然是一个有 约束条件的优化问题： 即在式(2)的约束下,求函数: φ(w)= 1/2‖w‖2= 1/2(w·w) (3) 的最小值。 第12页/共33页 2022-9-9 13 SVM原理之线性可分 求解方法---Lagrange 乘子法 什么是Lagrange 乘子法？ 看一个例子。 问题：给你一块面积固定（等于a 的平方） 板子，问做成什么样的长方体（盒子），它具有最大的体积。 第13页/共33页 2022-9-9 14 SVM原理之线性可分 Lagrange 乘子法 设长方体的三个棱长为x，y，z，则其体积f 为三个边长的乘积： f(x,y,z)=xyz 本问题要求表面积为a 的平方，于是长方体的6面的面积可以写成 ： 2xy+2xz+2yz=a2 即 2xy+2xz+2yz-a2=0 这个问题转化为了有约束条件的优化问题。 第14页/共33页 2022-9-9 15 SVM原理之线性可分 Lagrange 乘子法 解题方法为： 1 用拉格朗日方法制造一个新函数F 2 在F中放进一个未知的常数C 得到： F=xyz+C(2xy+2xz+2yz-a2) 第15页/共33页 2022-9-9 16 SVM原理之线性可分 Lagrange 乘子法 F对x，y，z 的三个自变量的偏微分分别为零 ，得到三个新方程式 ： yz+2C(y+z)=0 xz+2C(x+z)=0 xy+2C(x+y)=0 因