支持向量机的基本知识及应用实例.pptVIP

支持向量机及应用简介 ;机器学习的基本问题和方法;有指导机器学习的目的是根据给定的训练样本，求出对某系统输入输出之间依赖关系的估计，使它能够对未知输入作出尽可能准确的预测。可以一般地表示为：变量y与x存在一定的未知依赖关系，即遵循某一未知的联合概率F(x,y)（x 和y 之间的确定性关系可以看作是其特例），有指导机器学习问题就是根据N个独立同分布观测样本 在一组函数{f (x,w)}中求一个最优的函数 f (x,w0)对依赖关系进行估计，使期望风险 最小;支持向量机（SVM）;支持向量分类(Classification);线性分类器;分类面;最优分类面;最大间隔(margin);线性可分的最优分类模型;非支持向量的系数为0;将 代入目标函数，由对偶理论知，系数可由如下二次规划问题解得 给定x的分类结果 特点:稳定性、鲁棒性、稀疏性等 ; 最大间距:由于对 则;线性不可分(软间隔);线性不可分的情况;不可分的解方程;最优性条件;max;C不同带来的影响;支持向量回归(Regression);回归问题;最小二乘解的不足:数值稳定性问题,增加新数据对解都有影响,为使模型尽量简单需进行假设检验. 脊回归(Ridge Regression) 数值稳定性较好. 还可写为;ε敏感损失回归;损失函数比较;模型 （线性ε损失） 作Lagrange乘子函数;KKT条件;代入模