2.3正态分布时统计决策.ppt

正态分布概率密度函数的定义及性质 多元正态概型下的最小错误率贝叶斯判别函数和决策面 2.3.1正态分布概率密度函数的定义及性质 ㈡ 多元正态分布 ⒈多元正态分布的概率密度函数 ㈡ 多元正态分布 协方差矩阵总是对称阵，协方差矩阵为 协方差矩阵总是非负定阵。 对于任意随机向量x，xT∑x是∑的二次型。如果对x≠0的一切x 有 xT∑x≥0 都成立，则称∑为非负定阵。 若xT∑x0，则∑为正定阵。 对于正定矩阵，各阶主子式非零（包括|∑|≠0）。 ⒉多元正态分布的性质 ⑴参数μ和∑对分布的决定性 ⑵等密度点的轨迹为一超椭球面 ⑶不相关性等价于独立性 ⑷边缘分布和条件分布的正态性 ⑸线性变换的正态性 ⑹线性组合的正态性 ⑴参数μ和∑对分布的决定性 多元正态分布被均值向量μ和协方差矩阵∑所完全确定。 ⑵等密度点的轨迹为一超椭球面 从正态分布总体中抽取的样本大部分落在由μ和∑所确定的一个区域里。从一个以均值μ为中心的云团内的二维高斯分布中取出的样本。椭圆显示了等概率密度的高斯分布轨迹。 ⑶不相关性等价于独立性 不相关与独立的定义： 若 E{xi xj}= E{xi}·E{xj} 则定义随机变量xi和xj是不相关的。 若 p(xi,xj)= p(xi) p(xj) 则定义随机变量xi和xj是独立的。 一般情况下相关与独立的关系 独立性是比不相关性更强的条件，独立性要求 p(xi,xj)= p(xi) p(xj) 对于xi和xj都成立。 不相关性是两个随机变量的积的期望等于两个随机变量的期望的积，它反映了xi与xj总体的性质。 若xi和xj相互独立，则它们之间一定不相关；反之则不一定成立。 多元正态分布情况 对多元正态分布的任意两个分量xi和xj而言，若xi与xj互不相关，则它们之间一定独立。 在正态分布中不相关性等价于独立性。 就随机向量x=[x1，x2，…xn]T进行证明。 证明: 根据xi与xj互不相关的定义，可求得： 因此 重要推论： 如果多元正态随机向量x=(x1，…，xd)T的协方差阵是对角阵，则x的分量是相互独立的正态分布随机变量。 ⑷边缘分布和条件分布的正态性 多元正态分布的边缘分布和条件分布仍然是正态分布。 二元正态分布协方差矩阵∑及其逆矩阵∑-1为 同理可以推出x2的边缘分布为 对于给定x1的条件下x2的分布，有定义 p(x2|x1) = p(x1,x2 ) / p(x1) ⑸线性变换的正态性 多元正态随机向量的线性变换仍为多元正态分布的随机向量。 设具有均值向量为μ，正定协方差矩阵为∑的正态随机向量为 x = [x1,x2,…,xd]T x∈Ed ⑸线性变换的正态性 若对x用线性变换矩阵A(A是非奇异(|A|≠0)的)作线性变换， y = Ax 则y服从以均值向量为Aμ，协方差矩阵为A∑AT的多元正态分布。即 p(y)~N(Aμ，A∑AT) ⑸线性变换的正态性 随机向量的变换 设随机向量y是另一随机向量x的函数，即 ⑸线性变换的正态性 雅克比行列式 ⑸线性变换的正态性 当x和y只是线性变换时 ⑸线性变换的正态性 此时，J=|A|，|A|表示矩阵A的行列式。从而随机向量y的概率密度函数 ⑸线性变换的正态性 证明： y = Ax， 即x=A-1y x的均值向量为μ，y的均值向量为υ υ=Aμ, 即μ=A-1υ 根据雅可比行列式的定义，有 |J|=||A|| 证明： y的概率密度函数与x的概率密度函数之间的关系为 即 p(y)~N(Aμ，A∑AT) 根据线性变换的正态性可以说明，用非奇异阵A对x作线性变换后，原来的正态分布正好变成另一参数不同的正态分布。 变换后的意义 由于∑是对称阵，根据线性代数知识总可以找到某个A使得变换后y的协方差阵A∑AT为对角阵，这就意味着y下的各个分量间是相互独立的(性质⑶的推论)，也就是说总可以找到一组坐标系，使各随机变量在新的坐标系中是独立的。 这一性质对解决某些模式识别问题有着重要意义。 ⑹线性组合的正态性 若x为多元正态随机向量，则线性组合 ⑹线性组合的正态性 这时 根据性质⑸，y是服从以均值向量ATμ，协方差阵AT∑A的多元正态分布。 2.3.2 多元正态概型下的最小错误率贝叶斯判别函数和决策面 根据最小错误率贝叶斯判别函数，在多元正态概型(p(x|ωi)~N(μi，∑i),i=1,…，c)下就可以立即写出其相应的表达式。 判别函数为 这种情况中每类的协方差矩阵都相等，而且类内各特征间相互独立，具有相等的方差。下面再分二种情况讨论。 ⒈先验概率P(ωi)与P(ωj)不相等 此时各类的协方