模式识别-第6讲-线性判别函数2.pptVIP

引入余量b,其维数为N,数值大于零，任何实数，使得下列等式成立。 1.1 共轭梯度法 定义的准则为: 准则的理解： 如果Yab，则(Ya-b)和|Ya-b|同号，其结果Jq1(a)=0。 如果存在某些规范化增广样本向量yi，使得yiab，则(Ya-b)和|Ya-b|异号，其结果Jq1(a)0。 yiab的样本向量yi个数越多，Jq1(a)越大。 Jq1(a)与 权向量a成函数关系。 Jq1(a)与权向量a成函数关系，与它的极小值相应的权向量a则为最优解a*。 1.2 搜索法 定义的准则为: Jq2(a)所表示是权向量a所满足的不等式的数目。 2 最小平方误差准则函数(MSE) 感知准则函数及其梯度下降算法的缺点：只适用于线性可分情况，对于线性不可分情况，选代过程永远不会终结，即算法不收敛。 在实际问题，事先无法知道样本是否线性可分，因此需要寻求更适合一般情况的算法。 对于两类问题，已知N个训练样本，寻找权向量a，使得aTyi大于零,i=1,2,…,N.将不等式该成等式的形式为aTyi=bi0;bi是任意给定的正常数。N个方程写成书上的表达式。 样本数N总是大于维数(d+1) ，因此Y是长方阵。一般为列满秩阵。 方程个数多于未知数，它为矛盾方程组，通常没有精确解存在。但可以寻找最小二乘解。 定义一个误差向量e 最小平方误差准则函数(MSE) YTY是(d+1)?(d+1) 方阵。存在逆矩阵。 解向量a*是依赖向量b。 两个结论： 若N1个训练样本属于?1,N2个训练样本属于?2，取bi=N/N1,N=N1+N2 (i=1,2,..,N1), bi=N/N2,(i=N1+1,..,N),则在线性可分的情况下，MSE解与Fisher线性判别函数等价。 若选取全部bi=1,(i=N1+1,..,N)，MSE解与Bayes决策解之间的均方误差到达极小。 计算（4）式伪逆存在问题： 要求矩阵 是非奇异的。 计算量大。 采用（5）式梯度下降法递归求解 样本看成无限重复的序列，即单样本修改权向量，如下式所示: 其中， 为使得 的样本。 随机MSE准则函数及其随机逼近算法---样本看成是随机样本集，权向量求解也看随机最优化问题。 举例 利用MSE求解权向量 x2 x1 X4 (1,1) X3 (1,0) X1 (0,0) X2 (0,1) * * * * * * * * * * * 2012.9.21第4周星期五 专升本第8次课结束！ 2012.9.21第4周星期五 计算机第8次课结束！ 2012.10.08第7周星期一 理学院第8次课结束！ 第1章 绪论 * 模式识别 授课教师 薛耀红 xueyh@cust.edu.cn 第6讲 线性判别函数（2） 优化算法（补充知识） 梯度（下降）法 / 最速下降法 共轭梯度法 1. 梯度(下降)法（最速下降法） 基本原理 无约束最优化问题 如何产生下降方向Pk? （1）给定初始近似点x(0)及精度εO若 ，则x(0)即为近似极小点。 （2）若 ，求步长λ0,并计算 算法步骤 （3） 若 ，则 x(k) 即为求的近似解； 若 ，则求步长λk，并确定下一个近似点。 如此继续，直至达到要求的精度为止。 若f(x)具有二阶连续偏导数，在x(k)作 的泰勒展开： 对λ求导并令其等于零，则得近似最佳步长 2. 共轭梯度法 共轭方向和共轭方向法 共轭是正交的推广。 定理1 设A为n×n对称正定矩阵，P(1)， P(2) ， ，P(n) ，为A共轭的非零向量，则这一组向量线性独立。 几何意义 正定二次函数极小问题 定理2 共轭方向法 如何选取一组共轭方向？ 共轭梯度法 以下分析算法的具体步骤。 一般函数的共轭梯度法 本节课主要内容 最小错分样本数准则 共轭梯度法 搜索法 最小平方误差准则函数(MSE) 1 最小错分样本数准则 感知准则函数及其梯度下降算法只适用于线性可分情况。对于线性不可分情况，迭代过程永远不会终结，即算法不收敛。 x1 X4 (1,1) X2 (1,0) X1 (0,0) X3 (0,1) x2 x1 X4 (1,1) X2 (1,0) X1 (0,0) X3 (0,1) x2 在实际问题中往往无法事先知道样本集是否线性可分，因此，希望找到一种既适用于线性可分情况，又适用于线性不可分情况的算法。 这种算法具有特点： 对于线性可分问题，可以得到一个如感知准则函数那样的解向量a*