第五章神经网络的规划学习方法.pptVIP

优化目标函数为：对偶问题为：在约束条件下求下式的最大值。回归函数为：第29页，共57页，星期日，2025年，2月5日用不同的支持向量机对人工数据进行分类（a）线性可分对下面二维待分类人工数据P进行分类：X=[27;36;22;81;64;48;95;99;94;69;74];Y=[+1;+1;+1;+1;+1;-1;-1;-1;-1;-1;-1];第30页，共57页，星期日，2025年，2月5日（b）线性不可分对下面二维待分类人工数据P进行分类：X=[27;36;22;81;64;48;95;99;94;69;74;44];Y=[+1;+1;+1;+1;+1;-1;-1;-1;-1;-1;-1;-1];第31页，共57页，星期日，2025年，2月5日（1）、实验环境Matlab7.0（2）、界面设计第32页，共57页，星期日，2025年，2月5日（3）、具体实现a)对于线性可分的人工样本数据P。其中共有11个待分类样本。使用最简单的支持向量机，即以线性核函数K(x,xi)=(x.xi)作为内积函数的支持向量机来训练该数据集合。惩罚因子C取10。第33页，共57页，星期日，2025年，2月5日黑色线为数据集合的两类分类线，可以看出它能将两类准确无误的分开，错误率为0。蓝线和绿线为两类样本的最大间隔边界。5,11,6三点为支持向量。样本点分类结果第34页，共57页，星期日，2025年，2月5日对于线性不可分的人工样本数据P。其中共有12个待分类样本。1）用线性核函数SVM进行训练。仍采用最简单的支持向量机，即以线性核函数K(x,xi)=(x.xi)作为内积函数的支持向量机来训练该数据集合。惩罚因子C取10。第35页，共57页，星期日，2025年，2月5日显然黑色线为数据集合的两类分类线，不能将两类准确无误的分开，点12是错分的样本点，而5和点11落在了分类间隔内。此时正确率为91.67%。样本点分类结果第36页，共57页，星期日，2025年，2月5日2）利用较为复杂的RBF核函数支持向量机进行分类。RBF核函数中的核宽度这个参数是由用户决定的。因此下面采用三个不同的RBF核宽度来对该函数集合进行分类。惩罚因子C取100。①选择RBF核宽度为8,其结果如图所示。第37页，共57页，星期日，2025年，2月5日从图中可以看出，此时SVM以点12作为类别－1的一个聚类中心，在其周围形成了一个类似“小岛”的区域。并且，点2，3，4，5，6,11和12是支持向量，错分样本数为0。第38页，共57页，星期日，2025年，2月5日②使用一个较小的值1作为RBF核宽度,其结果如图所示。第39页，共57页，星期日，2025年，2月5日黑线为分类边界，蓝线和绿线为两类的最大间隔边界。由于较小的核宽度允许了分类边界的分割，因此图中的分类边界有很多条。由此造成了每个样本点都是支持向量，所以错分样本数为0。第40页，共57页，星期日，2025年，2月5日第1页，共57页，星期日，2025年，2月5日主要内容支持向量机支持向量机的分类学习算法用于函数拟合的支持向量机支持向量机算法的研究与应用仿真实例第2页，共57页，星期日，2025年，2月5日传统统计学是一种渐进理论，研究的是样本数目趋于无穷大时的极限特性。现有的学习方法多基于传统统计学理论，但在实际应用中，样本往往是有限的，因此一些理论上很优秀的学习方法在实际中的表现却不尽人意，存在着一些难以克服的问题，比如说如何确定网络结构的问题、过学习问题、局部极小值问题等，从本质上来说就是因为理论上需要无穷样本与实际中样本有限的矛盾造成的。第3页，共57页，星期日，2025年，2月5日与传统统计学的方向不同，Vapnik等人提出了一个较完善的基于有限样本的理论体系－－统计学习理论。统计学习理论是又一种通用的前馈神经网络，同样可用于解决模式分类和非线性映射问题。支持向量机方法是在统计学习理论基础上发展起来的通用学习方法，它具有全局优化、适应性强、理论完备、泛化性能好等优点。第4页，共57页，星期日，2025年，2月5日支持向量机

（SupportVectorMachine，SVM）90年代中期，在统计学习理论的基础上发展出了一种通用的学习方法－－支持向量机。它根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳