两类别LDA线性判别式分析.pptVIP

Linear Discriminant AnalysisLDA;问题的起源;线性判别函数的给定;两类别LDA线性判别式分析;广义线性判别函数: ;两类别LDA线性判别式分析;两类别LDA线性判别式分析;结论: 对任意判别函数作级数展开，然后取其截尾部分的逼近,通过适当的变换，都可以化为广义线性判别函数来处理. 解决由样本集设计线性分类器的主要步骤: ;准则函数的选取;感知准则函数 ;两类别LDA线性判别式分析;两类别LDA线性判别式分析;两类别LDA线性判别式分析; 解释: 设:A为αTyn0的解区, B为αTynb的解区,则: 对任意α∈B必有α∈A,即有:A包含B.即新解区B位于原解区A之中. 设: αA为A解区边界上的点,则αA满足: αATyn=0. αB为B解区边界上的点,则αB满足: αBTyn=b. B解区边界离开A解区边界的距离|| αB -αA ||为: αBTyn -αATyn =b αBT -αAT=b/yn || αB -αA || =b/ || yn || ;最小错分样本数准则 引子: 感知准则函数及其梯度下降算法只适用于线性可分情况，对于线性不可分情况，算法不收敛．但在实际问题中往往无法事先知道样本集是否线性可分.因此，我们希望找到一种既适用于线性可分情况，又适用于线性不可分情况的算法。这种算法对于线性可分问题，可以得到一个如感知准则函数那样的解