数学基础统计模式识别-Read.DOCVIP

PAGE PAGE 12 第二章 数学基础（统计模式识别） §1 多元正态分布 1）一元正态分布 【定义】 密度函数为: 的随机变量称为正态随机变量。记： m——数学期望 ——方差 通式： 常数k使得： d为 x 离中心 m 的距离，该距离与方差有关。 2）多元正态分布 【定义】 密度函数为 的随机矢量称为正态随机矢量。 随机矢量： 数学期望： 待定参数为n个 (3)协方差： 分量： 其中：： 第i个分量的方差（对角线元素） ： 第i个分量与第j个分量的协方差（非对角线元素） C：对称阵且正定，待定参数为个。 【正定】 【非负定】 按协方差的定义，C只满足非负定，不一定是正定矩阵，即有可能为0。 “＝0”，则C为奇异阵，不存在逆矩阵。两种情况： 某个分量的方差为零； ——说明这个分量没有不确定性，是确定的，则分类可以按照这个分量来进行。 两个分量相关。 ——说明这两个分量不相互独立，通过降维，使降维后的分量相互独立。 所以，不追求数学上的严格定义，可以认为C矩阵是正定的。 (4)马氏距离(Mahanlanobis Distance)： 与欧式距离：不同，马氏距离考虑数据的统计分布，在模式识别中有广泛的用处。 (5)可以写为通式： 常数k使得： (6)多元正态分布的等密度轨迹为超椭圆。 即： 对于二维情况可得： 即为椭圆。 在二维空间里，说到一个正态分布，就画一个椭圆。 3）多元正态分布的特征函数 1.一元 2.n元 4）多元正态分布的性质 性质1：正态分布的随机变量线性函数还是正态的。 若 那么，仍是正态的。 若mn，则完成了降维。 有 【证】 （1） （2） （1）代入（2）： 得： 再生性：正态分布的线性变换仍然是正态分布，密度函数的形式保持不变。 随机向量 其中，每个分量服从标准正态分布。 则有： 结论：独立标准正态变量的有限个（m个）线性函数以Y=AX+d 构成一个m元正态随机向量。 （多元正态变换不同于密度函数的另外一个定义。） （3）当m=1时：正态随机向量各分量的加权和服从一元正态分布 性质2：正态随机向量的子向量也服从正态分布 若， 有 ； r n－r 则： 【证】：由性质1 取： 则： 事实上，可以在n维中任意抽r个构成r维随机向量，它也服从正态分布，且相应的期望矢量与协方差阵，只需在原有的m中及C中抽取相应的行与列的元素构成即可。 性质3：对正态分布而言，不相关和独立等价 A.分量 独立： 不相关： 定理：正态随机向量 的各分量相互独立的充要条件为两两不相关。 【证】：不相关——独立 由不相关可得： 进一步有： 则独立成立 B.向量 独立： 不相关： 性质4：条件分布正态性 若： 则给定y(2)时y(1)的条件分布为p维正态，其中数学期望和协方差分别为： 【证】：对向量y作线性变换构成新的随机向量z，因为：y满足正态分布，由性质1，z满足正态分布： 且z的协方差为： 因为： 所以：z(1)与z(2)不相关，由性质3，z(1)与z(2)独立。 有： 且： 另： 由性质2，z(1)与z(2)满足正态分布 又：Z=BY 有：p(z)|J|=p(y) 其中： 即：p(z)=p(y) 而：p(y)=p(y(1)|y(2))p(y(2)) 则：p(z)=p(y(1)|y(2))p(y(2)) 因此有（视y(2)为常数）：得到结论。  §2 随机向量的线性变换 1）习惯 ： n×n 对角阵 尺度变换 m×n mn 降维 n×n 坐标旋转 A、 在线性代数中理解为向量变，坐标不变。 在模式识别中，理解为向量不变，坐标变。 B、实用的坐标系是标准正交基，而经变换后的新坐标系也是标准正交基。因此，常用的变换是标准正交变换，对应的变换阵为正交矩阵。 C、正交阵特点： D、变换阵A的求法（习惯）： 把新基在老坐标系下的坐标向量作为变换矩阵A的行向量。 对统计特性的影响： (1)密度函数——相差一个雅可比行列式的绝对值： p(y)|J|=p(x) (2)期望和协方差： (3)线性变换不改变马氏距离 2)主轴变换 要求：通过坐标系的平移和旋转，找到一个分布的主轴方向。 先作平移，原点移动到中心 Z=X-m 则： 旋转坐标系，把坐标轴转到主轴方向，即的长、短轴方向。 相当于一个有条件极值问题： 即：在满足条件前提下（保证在椭圆上）， 使得：极大 极值表达式： 求导： 得： 取矩阵的： 特征值矩阵： 特征向量矩阵： 有： 可以有两种理解：（1）——矩阵分解 （2）——线性变换 变换矩阵为： 主轴变换归结为：Y=A(