模式识别-第二章 - 贝叶斯决策理论2课件.ppt

第三讲 贝叶斯决策理论;*;基本模式识别过程;*;*;*;*;*;*;正态分布下的Bayes决策;*;;*;单变量正态分布;单变量正态分布;*;*;*;多元正态分布;*;*;*;*;多元正态分布;多元正态分布;两个多元正态分布例子;对右图来说，x1和x2有很大的相关性，而对左图来说，随机变量x1与x2之间的相关性很小。这可以从两者的区别看出来。 对于右图可以看出一个随机变量的x1分量较小时，另一分量x2也必然较小。而当随机变量的x1较大时，则其相应的x2分量也较大。换句话说，如果x1分量小于其均值μ1,则其相应的分量x2也很可能小于它的均值μ2。 因此当x1-μ10时，也常伴有x2-μ20 ，这说明它们之间有联系，或称相关性，用（x1-μ1）（x2-μ2）这两项相乘来看其相关性。 ;对整个随机变量样本集取期望值，就会使E[ (x1-μ1)(x2-μ2)] 有非零值。 反过来看左图中的随机变量分布，就没有这种规律，一个随机变量x1分量小于其均值 ,并不对其相应分量x2与 之间的关系有什么限制。 在此时一个随机变量(x1-μ1)与(x2-μ2)的乘积的符号就可正可负，则E[ (x1-μ1)(x2-μ2)]就可能接近于零，或等于零。 因此我们可以用E[ (x1-μ1)(x2-μ2)]来衡量这种相关性，称为协方差。 协方差是个正数，很可能为零，协方差越大，说明两个变量的相关度越高。;*;*;*;*;*;*;*;*;*;*;*;*;多元正态分布;*;*;*;*;*;*;⑸线性变换的正态性 ;⑸线性变换的正态性 ;⑸线性变换的正态性 ;⑸线性变换的正态性 ;⑸线性变换的正态性 ;证明： ;证明： ;即 p(y)~N(Aμ，A∑AT);根据线性变换的正态性可以说明，用非奇异阵A对x作线性变换后，原来的正态分布正好变成另一参数不同的正态分布。;图中特征空间中的一个线性变换将一个任意正态分布变换成另一个正态分布。 变换A将原分布变成分布N（AT，AT∑A)；另一个线性变换，即由向量a决定的向某条直线的投影P，产生沿该直线方向的N(μ,σ2)分布。 尽管这些变换产生一个不同空间中的分布，还是将它们显示在原x1~x2空间中。一种白化变换，将产生一个圆周对称的高斯分布。;变换后的意义;⑹线性组合的正态性 ;⑹线性组合的正态性 ;这时 ;正态分布下的贝叶斯决策;;随着 不同超二次曲面也不同：超球面、超椭球面、超双曲面、超平面等等。 几种特殊情况： ①各类中各向量 相等； ②各类 相等。 决策面方程可得到不同程度的简化。;多元正态分布下的最小错误率Bayes分类器;最小错误率Bayes分类器; ;;;当P(ωi)= P(ωj)时，超平面通过μi与μj连线中点并与连线正交，如图所示。 ;当P(ωi)= P(ωj)时，超平面通过μi与μj连线中点并与连线正交，如图所示。 ;当P(ωi)= P(ωj)时，超平面通过μi与μj连线中点并与连线正交，如图所示。 ;w=μi-μj;一维、二维及三维例子;*;*;*;*;2、第二种情况：Σi＝ Σ相等，即各类协方差相等。 ;;;;;;;讨论(两类情况);若各类的先验概率相等，; ; ;3、第三种情况(一般情况)：Σ?为任意∑i≠∑j，各类协方差矩阵不等，二次项xT Σ? x与i有关。所以判别函数为二次型函数。;在一维情况下，对于存在任意协方差的情况，判别区域也可以不连通。如图所示。;任意高斯分布导致一般超二次曲面的贝叶斯判别边界。;;任意高斯分布导致一般超二次曲面的贝叶斯判别边界。;任意的三维高斯分布产生的超二次曲面的贝叶斯判别边界。;任意的三维高斯分布产生的超二次曲面的贝叶斯判别边界。;任意的三维高斯分布产生的超二次曲面的贝叶斯判别边界。;任意的三维高斯分布产生的超二次曲面的贝叶斯判别边界。甚至还有退化为直线的判别边界。;4个正态分布的判决区域。尽管对于类别数如此少的情况，其判别区域的形状也是相当复杂的。;如图示出了在二元正态情况下决策面的形式，在(a)~(e)五种形式中，变量x1和x2是类条件独立的，所以协方差矩阵为对角阵。如果在假定各先验概率相等，那么不同的决策面只是由于方差项的差异而引起的。 在图中以标号1、2的等概率密度轮廓线来表征相应类别的方差， ;在图 (a)中，p(x|ω2)的方差比p(x|ω1)小，因此来自类ω2的样本更加可能在该类的均值附近找到，同时由于圆的对称性，决策面是包围着μ2的一个圆。 ;若把x2轴伸展，如图 (b)所示，此时决策面就伸展为一个椭圆。 ;在图 (c)中两类的密度在x1方向上具有相同的方差，但在x2方向上p(x|ω1)的方差比p(x|ω2)的方差大，这时x2值大的样本可能是来自类ω