支持向量机讲座.ppt

支持向量机 (SVM)及其在信号处理中的应用 （Support Vector Machine） 产生器(G)，产生随机向量x属于Rn ,它们是从固定但未知的概率分布函数F(x)中独立抽取的。 训练器(S)，对每个输入向量x返回一个输出值y，产生输出的根据是同样固定但未知的条件分布函数 F(y|x)。 学习机器(LM)，它能够实现一定的函数集f(x, a)，a属于A，其中A是参数集合。 机器学习的基本问题 机器学习就是从给定的函数集f(x,?)(?是参数)中,择出能够最好地逼近训练器响应的函数。 机器学习的目的可以形式化地表示为：根据n个独立同分布的观测样本 ， 在一组函数 中求出一个最优函数 对训练器的响应进行估计,使期望风险最小 其中 是未知的,对于不同类型的机器学习问题有不同形式的损失函数。 2、三类基本的机器学习问题 模式识别问题：输出y是类别标号，两类情况下y={1,-1}，预测函数称作指示函数(Indicator Function)，损失函数定义见下式，使期望风险最小就是Bayes决策中使错误率最小。 函数拟合问题：输出y是连续变量，它是x的函数，损失函数定义见下式: 概率密度估计问题：根据训练样本确定x的概率分布p(x,w