基于改进的HMMSVM构架的语音识别系统的研究研讨.ppt

* Requirements 4 and 5 are satisfied by decomposing a contour into visual parts. The satisfaction of requirements 1,2,3 and 6 follows from the fact that the shapes of the parts are abstracted as ribbons, the representation of body part shapes and their relationships is invariant under translation, rotation, and scaling, and probability distributions are used to accommodate the shape variations among individuals as well as absorbing some variations in shape due to viewpoint. The hierarchical organization of the body parts allows efficient object recognition (requirement 7) in a coarse-to-fine manner. Support Vector Machine支持向量机 报 告 人：吕玉生 日 期：2008年4月10日 内容 SVM的理论基础 线性判别函数和判别面 最优分类面 支持向量机 LIBSVM简介 实验 SVM的理论基础 传统的统计模式识别方法只有在样本趋向无穷大时，其性能才有理论的保证。统计学习理论（STL）研究有限样本情况下的机器学习问题。SVM的理论基础就是统计学习理论。 传统的统计模式识别方法在进行机器学习时，强调经验风险最小化。而单纯的经验风险最小化会产生“过学习问题”，其推广能力较差。 推广能力是指: 将学习机器(即预测函数,或称学习函数、学习模型)对未来输出进行正确预测的能力。 SVM的理论基础 “过学习问题”：某些情况下，当训练误差过小反而会导致推广能力的下降。 例如：对一组训练样本(x,y),x分布在实数范围内，y取值在[0，1]之间。无论这些样本是由什么模型产生的，我们总可以用y=sin(w*x)去拟合，使得训练误差为0. SVM的理论基础 根据统计学习理论，学习机器的实际风险由经验风险值和置信范围值两部分组成。而基于经验风险最小化准则的学习方法只强调了训练样本的经验风险最小误差，没有最小化置信范围值，因此其推广能力较差。 Vapnik 与1995年提出的支持向量机（Support Vector Machine, SVM）以训练误差作为优化问题的约束条件，以置信范围值最小化作为优化目标，即SVM是一种基于结构风险最小化准则的学习方法，其推广能力明显优于一些传统的学习方法。 SVM的理论基础 由于SVM 的求解最后转化成二次规划问题的求解，因此SVM 的解是全局唯一的最优解 SVM在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中. 线性判别函数和判别面 一个线性判别函数(discriminant function)是指由x的各个分量的线性组合而成的函数 两类情况:对于两类问题的决策规则为 如果g(x)=0，则判定x属于C1， 如果g(x)0，则判定x属于C2 线性判别函数和判别面 方程g(x)=0定义了一个判定面，它把归类于C1的点与归类于C2的点分开来。 当g(x)是线性函数时，这个平面被称为“超平面”(hyperplane)。 当x1和x2都在判定面上时， 这表明w和超平面上任意向量正交， 并称w为超平面的法向量。 超平面 线性判别函数和判别面 判别函数g(x)是特征空间中某点x到超平面的距离的一种代数度量. 线性判别函数和判别面 广义线性判别函数 在一维空间中，没有任何一个线性函数能解决下述划分问题（黑红各代表一类数据），可见线性判别函数有一定的局限性。 线性判别函数和判别面 广义线性判别函数 如果建立一个二次判别函数g(x)=(x-a)(x-b)，则可以很好的解决上述分类问题。 决策规则仍是：如果g(x)=0，则判定x属于C1，如果g(x)0，则判定x属于C2。 线性判别函数和判别面 线性判别函数和判别面 广义线性判别函数 最优分类面 SVM 是从线性可分情况下的最优分类面发展而来的, 基本思想可用下图的两维情况说明. 图中, 方形点和圆形点代表两类样本, H 为