贝叶斯决策理论与统计判决方法.pptVIP

本章习题 习题四：设有二维随机变量的分布有a、b、c所示的三种情 况，协方差矩阵表示成 ，试问这三种分布分别对应哪种情况？ A.a120； B.a120； C.a12≈0 （a） （b） （c） 答：  线性分类器 这种情况下，分离超平面并非与均值间的连线垂直正交。 如果先验概率相等，其判定面确实与均值连线交于其中点x0处； 如果先验概率不等，最优超平面将远离可能性较大的均值。 线性分类器 相等但非对称的高斯分布，判决超平面未必和均值连线垂直正交。 讨论(两类情况) 线性分类器 若各类的先验概率相等， 此时x0点为μi与μj连线的中点，根据前面的讨论，决策面应通过这一点，如图所示。 线性分类器 若先验概率不相等，x0就不在μi与μj连线的中点上，而是在连线上向先验率小的均值点偏移。 随着先验概率的改变，判决边界也随之改变;对于差别较大的离散先验概率而言，判决边界不会落于这些一维、一维及三维球状高斯分布的中心点之间 线性分类器 3、第三种情况(一般情况)：Σ?为任意∑i≠∑j，各类协方差矩阵不等，二次项xT Σ? x与i有关。所以判别函数为二次型函数。 线性分类器 在一维情况下，对于存在任意协方差的情况，判别区域也可以不连通。如图所示。 线性分类器 任意高斯分布导致一般超二次曲面的贝叶斯判别边界。 线性分类器 任意高斯分布导致一般超二次曲面的贝叶斯判别边界。 线性分类器 任意高斯分布导致一般超二次曲面的贝叶斯判别边界。 线性分类器 任意高斯分布导致一般超二次曲面的贝叶斯判别边界。 线性分类器 任意高斯分布导致一般超二次曲面的贝叶斯判别边界。 线性分类器 任意高斯分布导致一般超二次曲面的贝叶斯判别边界。 线性分类器 任意的三维高斯分布产生的超二次曲面的贝叶斯判别边界。甚至还有退化为直线的判别边界。 线性分类器 4个正态分布的判决区域。尽管对于类别数如此少的情况，其判别区域的形状也是相当复杂的。 如果分布更加复杂，则判别区域将更加复杂，尽管基本理论是一致的。 举例 以二维情况为例： 假设： 决策面：双曲线 决策面：椭圆 例： 如图所示模式，试求判别函数。其中μi和∑i分别用 x3 x1 x2 000 001 100 110 011 101 010 111 ∈ω2 ∈ω1 估计。Ni表示ωi类的样本数，xij表示第i类中的第j个样本。 解： 由图知： X1={(101)T，(000)T，(100)T，(110)T}， X2={(001)T，(011)T，(111)T，(010)T} x3 x1 x2 000 001 100 110 011 101 010 111 ∈ω2 ∈ω1 ∴存在 由于两类的协方差矩阵相等，使用方程 i =1，2，……，c 所以lnP(ωi)可略去，将x = (x1，x2，x3)T、μi、代入上式 因为 x3 x1 x2 000 001 100 110 011 101 010 111 ∈ω1 ∈ω2 判别面方程为 2x1－2x2－2x3+1 = 0 如图所示 本章小结 本章小结 先验概率，类条件概率密度函数和后验概率等概念间的关系 先验概率：根据大量统计确定某类事物出现的比例，如在我国大学中，一个学生是男生的先验概率为0.7，而为女生的概率是0.3，这两类概率是互相制约的，因为这两个概率之和应满足总和为1的约束。 类条件概率密度函数：同一类事物的各个属性都有一定的变化范围，在这些变化范围内的分布概率用一种函数形式表示，则称为类条件概率密度函数。这种分布密度只对同一类事物而言，与其它类事物没有关系。为了强调是同一类事物内部，因此这种分布密度函数往往表示成条件概率的形式。例如x表示某一个学生的特征向量，则，男生的概率密度表示成P(x|男生)，女生的表示成P(x|女生)，这两者之间没有任何关系，即一般的情况下P(x|w1)+P(x|w2)≠1，可为从[0,2]之间的任意值。 后验概率：一个具体事物属于某种类别的概率，例如一个学生用特征向量x表示，它是男性或女性的概率表示成P(男生|x)和P(女生|x)，这就是后验概率。由于一个学生只可能为两个性别之一，因此有P(男生|x)+P(女生|x)=1的约束，这一点是与类分布密度函数不同的。后验概率与先验概率也不同，后验概率涉及一个具体事物，而先验概率是泛指一类事物，因此P(男生|x)和P(男生)是两个不同的概念。 本章小结 Bayes决策的三个前提： 类别数确定 各类的先验概率P(ωi)已知 各类的条件概率密度函数p(x|ωi)已知 问题的