（可直接使用）正态分布中的Bayes决策.pptVIP

下面对几种特殊情况进行讨论。 情况一： 该情况下，每类的协方差矩阵相等，而且类的各特征间相互独立（由上节的性质③得知），具有相等的方差s2。 优选 因此： (1)先验概率P(wi)与P(wj)不相等 优选 其中： 将上两式代入gi(x)： 为x到类wi的均值向量mi的“欧氏距离”的平方。 与类别无关，可以忽略，因此gi(x)可简化为： 优选 进一步简化得。 xTx与i无关，可以忽略： 优选 是一个线性函数。 因此可以进一步写成 优选 (2) P(wi )=P，所有各类概率相等 决策规则：对某个x计算 为线性函数， 其决策面由线性方程 决策面是一个超平面。 优选 满足 的x的轨迹是wi 与wj 类间的决策面 当P(wi )=P(wj )时，超平面通过mi 与mj 连线中点并与连线正交 优选 两个同心圆是两类概率分布等密度点轨迹， 两个圆心就是两类的均值点。 两类的区分线l与m1-m2垂直，其交点为x0 若P(w1 )≠P(w2 )时，x0向先验概率较小的那个类型的均值点偏移。 x0一般不是m1-m2的中点，但当P(w1 )=P(w2 )时，x0为m1-m2的中点。 优选 情况二：Σi＝ Σ相等，即各类协方差相等 从几何上看，相当于各类样本集中于以该类均值点为中心的同样大小和形状的超椭球面内。 优选 对于未知的x，如果把x与各类均值相减，即相当于Mahalanobis距离的平方。这时把x归于最近一类。称为最小距离分类器。 与类别无关，可以忽略， 优选 gi（x）为线性函数，故决策面是一个超平面。 优选 2.3 正态分布时的统计决策 Bayes决策的三个前提： 类别数确定 各类的先验概率P(ωi)已知 各类的条件概率密度函数p(x|ωi)已知 Bayes决策中，类条件概率密度的选择要求： 模型合理性 计算可行性 最常用概率密度模型：正态分布 观测值通常是很多种因素共同作用的结果，根据中心极限定理，它们（近似）服从正态分布。 计算、分析最为简单的模型。 一、正态分布判别函数 1、为什么采用正态分布： a、正态分布在物理上是合理的、广泛的。 b、正态分布数学上简单，N(μ, σ2) 只有均值和方差两个参数。 §2-3.1 正态分布决策理论 优选 2、单变量正态分布： 优选 从p(x)的图形上可以看出，只要有两个参数m和s2 ,就可以完全确定其曲线。 若服从正态分布的总体中随机抽取样本x，约有95％的样本落在(m-2s,m+2s)中。样本的分散程度可以用s来表示 , s越大分散程度越大。 优选 正态分布是指一个随机实数度量值在整个实数域上的分布规律。 因此它属于概率密度函数类，不是我们所讨论的先验概率P(ωi)，也不是后验概率P(ωi|X)，而是p(x|ωi)。 优选 3、（多变量）多维正态分布 为d维均值向量也就是: （1）函数形式： x=(x1,x2,…,xd)T为d维随机向量 S是d×d维协方差矩阵，S-1是S的逆矩阵，|S|为S的行列式。 协方差矩阵S是对称的，其中有d×(d+1)/2个独立元素。 优选 由于r(x)可由m和S完全确定，所以实际上r(x)可由d×(d+1)/2+d个独立元素来确定。 m、S分别是向量x和矩阵(x-m)(x-m)T的期望。 多元正态分布与单态量正态分布在形式上尽管不同，但有很多相似之处，实际上单变量正态分布只是维数为1的多元分布。 优选 当d=1时，Σ只是一个1×1的矩阵，也就是只有1个元素的矩阵，退化成一个数，|Σ|1/2也就是标准差σ,Σ-1也就是σ-2，而(X－μ)T(X－μ)也变成(X-μ)2， 多元正态分布的概率密度函数中的元就是我们前面说得特征向量的分量数，也就是维数。 优选 具体说：若xi是x的第i个分量，mi是m的第i个分量，sij2是S的第i、j个元素。 其中r(xi)为边缘分布， 优选 协方差矩阵： 是一个对称矩阵，只考虑S为正定矩阵的情况，也就是: |S|所有的子式都大于0 优选 同单变量正态分布一样，多元正态分布r(x)可以由m和S完全确定，常记为N(m,S)。 优选 (2) 多元正态分布的性质 参数μ和Σ完全决定分布 等概率密度轨迹为超椭球面 不相关性等价于独立性 边缘分布和条件分布的正态性 线性变换的正态性 线性组合的正态性 优选 ①.参数m和S对分布的决定性 对于d维随机向