FAFU机器学习 08-1upportectorachine中文.pptxVIP

机器学习基础支持向量机（） 数据挖掘十大算法C4.5.K均值支持向量机先验的EM（最大似然）PageRank阿达博斯特KNN奈韦巴耶斯推车 支持向量机Sklearn中的支持向量机2020/12/3支持向量机第7-3课 背景最早的SVM算法是由Vladimir N.Vapnik和Alexey Ya发明的。1963年，切尔沃年基斯最大边缘分类器1992年，Bernhard E.Boser，Isabelle M.Guyon和Vladimir N.Vapnik提出了一种通过将核技巧应用于最大边距超平面来创建非线性分类器的方法使用内核技巧的内核化版本目前的标准化身（软边际）是由Corinna Cortes和Vapnik于1993年提出，并于1995年出版软边距分类器软边距内核化版本（组合了1，2和3）2020/12/3支持向量机第7-4课 背景1996年，Vapnik等人。提出了一种支持向量机的方法来进行回归而不是分类。支持向量回归(SVR)在机器学习中，支持向量机（SVM，也称支持向量网络）是具有相关学习算法的监督学习模型，该学习算法分析用于分类和回归分析的数据。但多用于分类问题由于支持向量机在手写体数字识别中的成功应用，支持向量机开始受到人们的青睐2020/12/3支持向量机第7-5课 专业人士基于内核的框架非常强大，灵活在实践中工作得非常好，即使训练样本容量非常小解可表示为二次规划问题许多公开可用的SVM包:例如LIBSVM，LIBLINEAR，SVMLight罪名为一个问题选择最好的核函数是很棘手的计算，记忆在训练时，必须计算所有示例对的核值对于大规模的问题，学习可能需要非常长的时间2020/12/3支持向量机第7-6课 支持向量机Sklearn中的支持向量机2020/12/3支持向量机第7-7课 2020/12/3支持向量机第7-8课哪一个最好？ D={(X1，Y1)，(X2，Y2)，…，（Xm，Ym）}，Yi{-1，+1}，D，。2020/12/3支持向量机第7-9课哪一个最好？ D={(X1，Y1)，(X2，Y2)，…，（Xm，Ym）}，Yi{-1，+1}，D，。，:徐:2020/12/3支持向量机第7-10课 （w，b），（xi，yi），yi=+1，wtxi+b0；yi=-1，wtxi+b0。:支持向量： 使上式等号成立 的训练样本点。间隔： 两个异类支持向量到 超平面的距离之和。2023/11/4Support Vector MachineLesson 7 - 11 间隔与支持向量欲找到具有“最大间隔” (maximum margin) 的划分超平面，也就是要找到能满足约束的参数w 和b ， 使得 γ最大，即：为了最大化间隔， 仅需最大化||w||-1，这等价于最小化||w||2 . 于是:2023/11/4Support Vector MachineLesson 7 - 12 Support Vector Machine背景间隔与支持向量对偶问题核函数软间隔与正则化支持向量回归SVM in sklearn2023/11/4Support Vector MachineLesson 7 - 13 对偶问题Maximize the marginIt is a convex quadratic programming (QP) optimization problem. Convex QP problems have convex objective functions . These problems can be solved easily and efficiently by greedy algorithms (because every local minimum is a global minimum).But we have more effective method to solve it.2023/11/4Support Vector MachineLesson 7 - 14 对偶问题Maximize the margin拉格朗日乘子法,定义拉格朗日函数:令L(w，b，α) 对w 和b 的偏导为零可得:2023/11/4Support Vector MachineLesson 7 - 15 对偶问题Maximize the margin拉格朗日乘子法,定义拉格朗日函数:将L(ω ，b，α) 中的ω 和b 消去，可得对偶问题:2023/11/4Support Vector MachineLesson 7 - 16 解出α 后，求出ω 与b 即可得到模型：2023/11/4Support Vector MachineLesson 7 - 17 Sup