两类别LDA线性判别式分析.pptVIP

-1 1 1 -1 α -β B A y x o β α ∵ ∴ cos(α-β)=cosαcosβ+sinαsinβ 思考：以上推导是否有不严谨之处？ 当α-β是任意角时，由诱导公式总可以找到一个角θ∈[0，2π），使cosθ=cos(α-β) 若θ∈[0，π ]，则 若θ∈[π,2π)，则2π -θ∈[0，π ]，且 cos(2π–θ)=cosθ=cos(α-β) 〖探究3〗 两角差的余弦公式有哪些结构特征？ 注意：1.公式的结构特点：等号的左边是复角α-β的余弦值，等号右边是单角余弦值的乘积与正弦值的乘积的和。 2.公式中的α,β是任意角，公式的应用要讲究一个 “活”字，即正用、逆用、变形用，还要创造条件应用 公式，如构造角β＝(α＋β)－α，β＝ 等． 上述公式称为差角的余弦公式，记作 简记“余余正正号相反” 〖公式应用〗 引例:求cos15°的值. 分析：将150可以看成450-300而450和300均为特殊角， 借助它们即可求出150的余弦. cos150 =cos（450- 300） =cos450cos300 + sin450sin300 = × + × = 运用公式求值 Linear Discriminant AnalysisLDA 线性判别式分析法 利用线性判别函数设计两类分类器 问题的起源 在概率密度函数P(x|wi)未知的条件下,不再设法求出P(x|wi)并转化为后验概率密度函数P(wi | x),而是采用以下方法: 给定某个线性判别函数类g(x) 利用样本集X确定判别函数类g(x)中的未知参数(给定一个cost function用最优化方法使代价函数取极值) 把未知样本x归类到具有最大的判别函数值的类别中 线性判别函数的给定 一般线性判别函数: 广义线性判别函数: 结论: 对任意判别函数作级数展开，然后取其截尾部分的逼近,通过适当的变换，都可以化为广义线性判别函数来处理. 解决由样本集设计线性分类器的主要步骤: 准则函数的选取 感知准则函数(应用于线性可分的样本集) 原理: 设:样本集Y={y1, y2,…, yN}为对应于X= {x1, x2,…, xN}的增广样本集. 感知准则函数 解释: 设:A为αTyn0的解区, B为αTynb的解区,则: 对任意α∈B必有α∈A,即有:A包含B.即新解区B位于原解区A之中. 设: αA为A解区边界上的点,则αA满足: αATyn=0. αB为B解区边界上的点,则αB满足: αBTyn=b. B解区边界离开A解区边界的距离|| αB -αA ||为: αBTyn -αATyn =b αBT -αAT=b/yn || αB -αA || =b/ || yn || 最小错分样本数准则 引子: 感知准则函数及其梯度下降算法只适用于线性可分情况，对于线性不可分情况，算法不收敛．但在实际问题中往往无法事先知道样本集是否线性可分.因此，我们希望找到一种既适用于线性可分情况，又适用于线性不可分情况的算法。这种算法对于线性可分问题，可以得到一个如感知准则函数那样的解向量，使得对两类样本集做到将全部样本正确分类；而对于线性不可分问题，则得到一个使两类样本集错分数目最少。 最小错分样本数准则函数I: 对于式(4-47)定义准则函数I: Jq1=||(Yα -b)-| Yα -b | ||2 找满足 :min Jq1的α*. (共轭梯度法) 最小错分样本数准则函数II: 对于式(4-45)定义准则函数II: Jq2=Σ?(1+sgn(yiα)) 找满足 :max Jq2的α*. (搜索法) 式中: sgn(yiα)= -1 if yiα0 sgn(yiα)= +1 if yiα≧0 平方误差(MSE)准则函数: MSE准则函数的性质: 3.1.1 两角和与差的余弦公式 其中θ∈[0，π ] 两个向量的数量积 温 故 知 新 ! 一、 新课引入 问题1: cos15°＝？ cos75°= ？ 问题2: cos15°＝cos（45°－ 30°） ＝ cos45°－ cos30° ? cos75°＝cos（ 45° +30°） ＝cos45°+ cos30°？ cos(α-β) = cos(α+β) = ? ? 探究：如何用任意角α，β的正弦、余弦值表示　　　　　　？ 思考1：设α，β为两个