模式识别第五章.ppt

　　ICA方法是根据PCA方法直接生成的。 K-L变换使用2阶统计量, 变换后特征之间的交叉相关性为零, 相应地, 变换后样本的相关矩阵是对角矩阵。 在ICA中, 变换后特征之间是统计独立的, 也就是说, 要求所有高次的交叉累积量为零。 交叉累积量是指累积量中至少有两个变量不同, 例如k2(y1y2); 若累积量中所有变量都相同, 则称为自累积量, 例如k4(yiyiyiyi) =k4(yi)为4阶自累积量。 将运算限制在4阶对很多应用已经足够了, 因此, 我们只讨论4阶累积量。 y的4个累积量分别为 (5-84) (5-85) (5-86) (5-87) 　　在实际应用中, 经常会遇到均值为零且概率密度函数是对称的情况, 在这种情况下， 所有奇数阶累积量为零, 所以, 问题可以简化为寻找一个矩阵W, 使得变换后特征之间的2阶和4阶交叉累积量为零。  　　具体的计算步骤如下:  　　(1) 对输入数据进行PCA变换, 即 (5-88) 其中B是K-L变换中的正交矩阵。 因此变换后 的各分量之间是不相关的。 (2阶交叉累积量为零) 　　(2) 计算另一个正交矩阵　　, 使得变换后的样本各分量的4阶交叉累积量为零 (5-89) 这等同于寻找一个矩阵　　，使得4阶自累积量的平方和最大, 即 (5-90) 上面两个步骤完成后, 最后逼近的独立分量的特征向量可以由下式得到 (5-91) 5.5.3ICA的极大似然估计方法 　　估计ICA模型的一个常用方法是极大似然估计方法, 其基本思想是采用那些使所得观测量具有最大概率的参数估计值。 　　 　　混合向量x=Ay的概率密度函数可以写为 (5-92) 式中, W=A-1, pi 表示独立分量的概率密度函数。 上式可以表示为矩阵W=(w1,w2,…,wn)T和向量x的函数 　　1) Σ1=Σ2=Σ, μ1≠μ2 　　在此种情况下, 最优特征提取矩阵是由Σ-1M矩阵的特征向量构成的。 又因为矩阵M的秩为1, 故Σ-1M只有一个非零特征值, 对应于特征值为零的那些特征向量对Jc(W)没有影响, 因此可以舍去, 所以最优变换W是Σ-1M的非零特征值对应的特征向量v, 不难得到 W=v=Σ-1(μ1－μ2) (5-64) 这个结果与Fisher的线性判别式的解相同。   　2) Σ1≠Σ2, μ1=μ2 　　在此种情况下, 最优特征矩阵是由Σ-12Σ1满足下列关系: 的前d个特征值所对应的特征向量W构成的, 此时Jc(W)取最大值。 显然，取不同的s值会有不同的特征向量的排列顺序。为了得到最大的Jc(W)，可以先设s=0.5，以求出最优坐标轴，然后求出最优参数s，以得到最大的Jc(W)。对于新的参数s，重新求出最优坐标轴，重复上述步骤，直到得到一组稳定的最优坐标轴为止。 5.3.3 基于熵函数可分性判据的特征提取方法 　　基于熵函数的可分性判据的提出, 主要是考虑不同分布特性对判决的影响。 当多类的分布呈均匀分布时, 信息熵为最大值, 此时具有最差的可分性。 当多类呈0-1分布时, 信息熵达到最小值, 此时, 具有最好的可分性。 基于信息熵的可分性判据和信息熵呈反比关系, 为了提取出熵函数可分性判据意义上的最佳特征组, 也是选择线性变换, 可将变换矩阵带入判据表达式: (5-66) (5-67) 通过求解判据的极值点即可得到使映射后的特征组可分性最好的变换矩阵。 在JH(W)可微的情况下, 就是求解偏微分方程: (5-68) 求出极值点即为所求的线性变换, 在本书中不展开讨论, 有需要者可参看有关参考文献。  5.4　主分量分析(PCA) 　　一种处理多维的方法是采用组合特征的方法来降低维数, 其中, 特征的线性组合计算简单且能够进行解析分析。 从本质上来说, 线性变换就是将高维空间的数据投影到低维空间的过程。 主分量分析是一种有效的特征线性变换方法, 也称为K－L变换。 K－L变换是一种基于目标统计特性的最佳正交变换, 它的最佳性体现在变换后产生的新的分量正交或不相关。  　　设n维随机向量x=(x1, x2, …, xn)T, x 经标准正交矩阵A正交变换后成为向量y=(y1, y2, …, yn)T, 即  (5-69) y的相关矩阵为 (5-70) 其中, Rx为x的相关矩阵, 是对称矩阵。 选择矩阵A=(a1, a2, …, an), 且满足 (5-71) 这里, λi为Rx的特征根, 并且λ1≥λ2≥…≥λn, ai为λi的正交化、 归一化特征向量, 即aTiai=1, aTiaj=0(i≠j; i, j=1, 2, …, n