第3章-正态分布时的统计决策.docVIP

PAGE 16 第3章 正态分布时的统计决策 在统计决策理论中，涉及到类条件概率密度函数。对许多实际的数据集，正态分布通常是合理的近似。如果在特征空间中的某一类样本，较多地分布在这一类均值附近，远离均值点的样本比较少，此时用正态分布作为这一类的概率模型是合理的。另外，正态分布概率模型有许多好的性质，有利于作数学分析。概括起来就是： 物理上的合理性 数学上的简单性 下面重点讨论正态分布分布及其性质，以及正态分布下的Bayes决策理论。 3.1 正态分布概率密度函数的定义及性质 1．单变量正态分布 定义： （3.1-1） 其中：为随机变量x的期望，也就是平均值； 为x的方差，为均方差，又称为标准差。 （3.1-2） （3.1-3） 概率密度函数的一般图形如下： 具有一下性质： （3.1-4） 从的图形上可以看出，只要有两个参数就可以完全确定其曲线。为了简单，常记为。若从服从正态分布的总体中随机抽取样本x，约有95％的样本落在中。样本的分散程度可以用来表示，越大分散程度越大。 2．多元正态分布 定义： （3.1-5） 其中： 为d维随机向量，对于d维随机向量x，它的均值向量是d维的。也就是： 为d维均值向量。 是维协方差矩阵，是的逆矩阵，为的行列式。协方差矩阵是对称的，其中有个独立元素。由于可由和完全确定，所以实际上可由个独立元素来确定。 是的转置，且： 、分别是向量x和矩阵的期望。具体说：若是的第i个分量，是的第i个分量，是的第i、j个元素。 （3.1-6） 其中为边缘分布， ――――――――――――――――――――――――――― “对于二维随机变量X和Y作为一个整体，其分布函数F（x，y），而X和Y都是随机变量，各别也有分布函数FX(x)、FY(y)，分别称为二维随机变量（X，Y）关于X和Y的边缘分布函数。有： 和。 对于离散随机变量有： 从中得到X的分布律为： 同样，Y的分布律为。 对于连续型随机变量（X，Y），假定它的概率密度为，由： 知道，X的概率密度为： 同样也可以求出Y的概率密度函数。” ――――――――――――――――――――――――――――― 而： （3.1-7） 协方差矩阵： （3.1-8） 是一个对称矩阵，只考虑为正定矩阵的情况，也就是所有的子式都大于0。即，，…… 同单变量正态分布一样，多元正态分布可以由和完全确定，常记为。 3．多元正态分布的性质 （1）参数对分布的决定性 对于d维随机向量x，它的均值向量也是d维的，协方差矩阵是对称的，其中有个独立元素。可由完全确定，实际上可由个独立元素决定。常记为：～。 （2）等密度点的轨迹为一超椭球面 由的定义公式（3.1-5）可知，当右边指数项为常数时，密度的值不变，所以等密度点满足： 可以证明，上式的解是一个超椭球面，其主轴方向取决于的本征向量（特征向量），主轴的长度与相应的本征值成正比。如下图所示： 从上图可以看出，从正态分布总体中抽取的样本大部分落在由和所确定的一个区域里，这个区域的中心由均值向量决定，区域的大小由协方差矩阵决定。 在数理统计中，令： 式中称为x到的马氏距离（Mahalanobis）距离。所以，等密度点轨迹是x到的马氏距离为常数的超椭球面。该超椭球面构成的球体的大小是样本对于均值向量的“离散度度量”。 体积： d为奇数d为偶数 d为奇数 d为偶数 如果d确定了，则不变，v与有关。也就是对于给定的维数d，样本离散度随而变。 （3）不相关性等价于独立性 概率论中，两个随机变量和之间不相关，并不意味着它们一定独立。如果和之间不相关，则的数学期望有： 如果和相互独立，则有： 独立性是比不相关更强的条件。不相关反映了和的总体性质。如果和相互独立，则它们之间一定不相关，反之则不成立。但是对服从正态分布的两个分量和，若与互不相关，则它们之间一定独立。 证明：根据定义，和的协方差 又根据不相关定义有： 又：， 所以：有 协方差矩阵成为对角阵。 可以计算出： ， 因此， 根据独立性的定义：正态分布随机向量的各分量间互不相关性与相互独立等价。 （4）边缘分布与条件分布的等价性 不难证明正态随机向量的边缘分布与条件分布仍服从正态分布。从（3）证明得出的结论表达式，如果x用表示，有： 也就是说，边缘分布服从均值为，方差为的正态分布： 同理， 另外，条件分布，给定的条件下的分布： 代入上式，服从正态分布，同理也服