模式识别线性判别函数.ppt

最小平方误差算法伪逆法则梯度令即第59页,共75页，星期六，2024年，5月最小平方误差算法伪逆法可得解得最佳解向量为：称为的伪逆矩阵第60页,共75页，星期六，2024年，5月最小平方误差算法伪逆法特点：①伪逆法要求为非奇异矩阵，其逆才存在②计算较为复杂第61页,共75页，星期六，2024年，5月最小平方误差算法梯降法由于则梯降法的迭代公式为：算法过程与感知准则梯降法相同第62页,共75页，星期六，2024年，5月Ｆisher线性函数基本思想：在d维特征空间中，将所有样本投影到一条过原点的直线上，将维数压缩到１维目标：找到一个最优的投影方向，使投影后的样本最易于分类第63页,共75页，星期六，2024年，5月Ｆisher线性函数WW第64页,共75页，星期六，2024年，5月Ｆisher线性函数设给定两类学习样本集和，共n个学习样本，其中类样本个，类样本个现将任意学习样本与权向量作内积：则即是在方向上投影后的样本第65页,共75页，星期六，2024年，5月Ｆisher线性函数是一标量，是坐标原点到投影点的距离第66页,共75页，星期六，2024年，5月Ｆisher线性函数类间离散度两类样本投影前的均值：第67页,共75页，星期六，2024年，5月Ｆisher线性函数类间离散度两类样本投影后的均值：第68页,共75页，星期六，2024年，5月Ｆisher线性函数类间离散度类间离散度定义为：反映了两类样本投影后的距离（差异）第69页,共75页，星期六，2024年，5月Ｆisher线性函数类内离散度定义类内离散度为投影后样本的方差，即第70页,共75页，星期六，2024年，5月Ｆisher线性函数类内离散度第71页,共75页，星期六，2024年，5月Ｆisher线性函数定义Ｆisher线性函数为：最佳的解向量Ｗ使准则函数取最大值第72页,共75页，星期六，2024年，5月Ｆisher线性函数其中类间离散度矩阵类内离散度矩阵第73页,共75页，星期六，2024年，5月Ｆisher线性函数是数学中典型的问题，可用Lagrange乘数法求极值结果为：这就是使准则函数的极大解第74页,共75页，星期六，2024年，5月Ｆisher线性函数如何利用离散度准则进行识别？①计算及②求出③以为分界线进行识别第75页,共75页，星期六，2024年，5月多类情况下的线性判别函数则需个判别函数具有如下性质：显然，应有：第27页,共75页，星期六，2024年，5月多类情况下的线性判别函数识别过程为：当待识样本Ｘ到来时，若对所有的j均有则判该方法仍然存在不定区，对不定区待识样本，采用拒识策略第28页,共75页，星期六，2024年，5月多类情况下的线性判别函数情况三不考虑二类问题的线性判别函数，采用Ｃ个线性判别函数将Ｃ个模式分开。判别函数为：识别准则为：对所有的，若则判第29页,共75页，星期六，2024年，5月多类情况下的线性判别函数该方法实际上是将特征空间划分为R1,……，Rc共C个判别区域，当模式在Ri中时,具有最大的函数值如果Ri与Rj相邻，则决策面是方程的一部分该方法不存在不定区第30页,共75页，星期六，2024年，5月多类情况下的线性判别函数R1R2R3R4g1(X)g4(X)g3(X)g2(X)第31页,共75页，星期六，2024年，5月小结由上述分析可得，应用线性判别函数的方法实际上是如何应用学习样本来确定线性判别函数参数的方法由于多类问题可化为多个二类问题来处理，故以下介绍二类问题的线性判别函数学习算法第32页,共75页，星期六，2024年，5月线性判别函数的学习算法线性判别函数一般具有如下一般形式：现将其扩展到增广特征空间，即：第33页,共75页，星期六，2024年，5月线性判别函数的