模式识课件SVM课件.pptVIP

支持向量机 回归问题: 就是在训练样本上找到一个函数,它可以从输入域近似映射到实数值上.输出值不再是二值. 在SVM中,回归问题被转化为分类问题来解. 支持向量机 实验 包括分类与回归 对dst,aah,chjsh三种可视音素进行采样，每种类型20张样本图片； 首先转化为灰度图像，然后截取口形部位的80*60区域，再使用Gaussian金字塔将其分解为原来的四分之一，保存为LIBSVM的格式的文件，包括用于分类和回归的文件．这样把维数降至1200维． 对于分类的参数使用　–c 2000;回归的参数使用-s 4 –c 100000 分类采用的是一对一的方式． 实验 实验结果： 分类的结果还算可以接受; 回归计算出来的口形程度值和真实值有时相差很大. * * * * * Requirements 4 and 5 are satisfied by decomposing a contour into visual parts. The satisfaction of requirements 1,2,3 and 6 follows from the fact that the shapes of the parts are abstracted as ribbons, the representation of body part shapes and their relationships is invariant under translation, rotation, and scaling, and probability distributions are used to accommodate the shape variations among individuals as well as absorbing some variations in shape due to viewpoint. The hierarchical organization of the body parts allows efficient object recognition (requirement 7) in a coarse-to-fine manner. Support Vector Machine支持向量机 内容 SVM的理论基础 线性判别函数和判别面 最优分类面 支持向量机 LIBSVM简介 实验 SVM的理论基础 传统的统计模式识别方法只有在样本趋向无穷大时，其性能才有理论的保证。统计学习理论（STL）研究有限样本情况下的机器学习问题。SVM的理论基础就是统计学习理论。 传统的统计模式识别方法在进行机器学习时，强调经验风险最小化。而单纯的经验风险最小化会产生“过学习问题”，其推广能力较差。 推广能力是指: 将学习机器(即预测函数,或称学习函数、学习模型)对未来输出进行正确预测的能力。 SVM的理论基础 “过学习问题”：某些情况下，当训练误差过小反而会导致推广能力的下降。 例如：对一组训练样本(x,y),x分布在实数范围内，y取值在[0，1]之间。无论这些样本是由什么模型产生的，我们总可以用y=sin(w*x)去拟合，使得训练误差为0. SVM的理论基础 根据统计学习理论，学习机器的实际风险由经验风险值和置信范围值两部分组成。而基于经验风险最小化准则的学习方法只强调了训练样本的经验风险最小误差，没有最小化置信范围值，因此其推广能力较差。 Vapnik 与1995年提出的支持向量机（Support Vector Machine, SVM）以训练误差作为优化问题的约束条件，以置信范围值最小化作为优化目标，即SVM是一种基于结构风险最小化准则的学习方法，其推广能力明显优于一些传统的学习方法。 SVM的理论基础 由于SVM 的求解最后转化成二次规划问题的求解，因此SVM 的解是全局唯一的最优解 SVM在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中. 线性判别函数和判别面 一个线性判别函数(discriminant function)是指由x的各个分量的线性组合而成的函数 两类情况:对于两类问题的决策规则为 如果g(x)=0，则判定x属于C1， 如果g(x)0，则判定x属于C2 线性判别函数和判别面 方程g(x)=0定义了一个判定面，它把归类于C1的点与归类于C2的点分开来。 当g(x)是线性函数时，这个平面被称为“超平面”(hyperplane)。 当x1和x2都在判定面上时， 这表明w和超平面上任意向量正交， 并称w为超平面的法向量。 超平面 线性判别函数和判别面