正态分布中的Bayes决策.pptVIP

2.3 正态分布时的统计决策 Bayes决策的三个前提： 类别数确定 各类的先验概率P(ωi)已知 各类的条件概率密度函数p(x|ωi)已知 Bayes决策中，类条件概率密度的选择要求： 模型合理性 计算可行性 3、（多变量）多维正态分布 (2) 多元正态分布的性质 参数μ和Σ完全决定分布 等概率密度轨迹为超椭球面 不相关性等价于独立性 边缘分布和条件分布的正态性 线性变换的正态性 线性组合的正态性 2.3.2正态分布中的Bayes分类方法 前面，我们已经把基于Bayes公式的几种分类判决规则抽象为相应的判决函数和决策面方程。 这几种方法中Bayes最小错误率判决规则是一种最基本的方法。 如果取0－1损失函数，最小风险判决规则和最大似然比判决规则均与最小错误判决规则等价。 下面以最小错误判决规则为例来研究Bayes分类方法在正态分布中的应用。 由最小错误率判决规则抽象出来的判决函数如下： 如果类概率密度是正态分布的， 则r(x|wi)～N(mi,Si)。 取对数，得判别函数为 下面对几种特殊情况进行讨论。 情况一： 该情况下，每类的协方差矩阵相等，而且类的各特征间相互独立（由上节的性质③得知），具有相等的方差s2。 因此： (1)先验概率P(wi)与P(wj)不相等 其中： 将上两式代入gi(x)： 为x到类wi的均值向量mi的“欧氏距离”的平方。 与类别无关，可以忽略，因此gi(x)可简化为： 进一步简化得。 xTx与i无关，可以忽略： 是一个线性函数。 因此可以进一步写成 (2) P(wi )=P，所有各类概率相等 决策规则：对某个x计算 为线性函数， 其决策面由线性方程 决策面是一个超平面。 满足 的x的轨迹是wi 与wj 类间的决策面 当P(wi )=P(wj )时，超平面通过mi 与mj 连线中点并与连线正交 两个同心圆是两类概率分布等密度点轨迹， 两个圆心就是两类的均值点。 两类的区分线l与m1-m2垂直，其交点为x0 若P(w1 )≠P(w2 )时，x0向先验概率较小的那个类型的均值点偏移。 x0一般不是m1-m2的中点，但当P(w1 )=P(w2 )时，x0为m1-m2的中点。 情况二：Σi＝ Σ相等，即各类协方差相等 从几何上看，相当于各类样本集中于以该类均值点为中心的同样大小和形状的超椭球面内。 对于未知的x，如果把x与各类均值相减，即相当于Mahalanobis距离的平方。这时把x归于最近一类。称为最小距离分类器。 与类别无关，可以忽略， gi（x）为线性函数，故决策面是一个超平面。 如果决策域R1和R2相邻，则决策面方程应满： 如果各类的先验概率相等，则 下面针对ω1，ω2二类情况进行讨论 情况三：Σ? 为任意，各类协方差矩阵不等 这时判别函数为 x 的二次型。 如果决策域，R1和R2相邻，则决策面方程应满足 2.4 关于分类器的错误率问题 在分类过程中，任何一种决策规则都有其相应的错误率， 当采用指定的决策规则来对类条件概率密度及先验概率均为已知的问题进行分类时，它的错误率是固定的。 错误率反映了分类问题固有的复杂性的程度。 对同一种问题设计出的多种不同的分类方案，通常总是以错误率大小作为比较方案好坏的标准。 因此，在本书中错误率是非常重要的参数。 2.4.0 两类决策的错误率为下式 从上式可以看出当x为多维向量的时候，进行积分运算的工作量比较大。 因此对于实际问题，对错误率的研究一般从下面三点出发： 1、按理论公式研究。2、计算错误率上界 3、实验估计 2.4.1 在一些特殊情况下错误率的理论计算 第一种情况---正态分布且等协方差矩阵 S1=S2=S3 下面回顾一下最小错误率贝叶斯决策的负对数似然比函数 很显然，h(x)为随机变量，记它的分布函数为P(h|wi) 这样贝叶斯决策的最小错误率形式 在实际情况下，我们只考虑正态分布，因此h(x)可以写成如下形式： 上式表明决策面是x的二次型，如果协方差相等，决策面就变成 x 的线性函数。即 x 是 d 维等协方差正态分布的随机向量，而 h(x) 是一维的随机变量，且是 x 的线性函数，因此上式可看成是对x的各分量做线性组合 aTx, 然后再作平移，其中 aT=(m2-m1)TS-1 令 则有 同样可以得出p(h/w2)的参数均值h2及方差s22 因此，可以利