第5章--特征选择与提取..pptVIP

由 两边 左乘 得 。 uj为确定性向量 R：自相关矩阵。 ：拉格朗日乘数 说明：当用X的自相关矩阵R的特征值对应的特征向量展开X 时，截断误差最小。 选前d项估计X时引起的均方误差为 因此，当用X的正交展开式中前d项估计X时，展开式中 的uj应当是前d个较大的特征值对应的特征向量。 K-L变换方法： 对R的特征值由大到小进行排队： 均方误差最小的X的近似式： 矩阵形式： 式中， ， 。 其中： （5-49） —— K-L展开式 对式(5-49)两边左乘U T ： —— K-L变换 系数向量a就是变换后的模式向量。 2．利用自相关矩阵的K-L变换进行特征提取 第一步：求样本集{X}的总体自相关矩阵R。 决定压缩 后的维数 3．不同散布矩阵的K-L变换 根据不同的散布矩阵进行K-L变换，对保留分类鉴别信息 的效果不同。 多类类内散布矩阵： 若要突出各类模式的主要特征分量： 选用对应于大特征值的特征向量组成变换矩阵； 若要使同一类模式聚集于最小的特征空间范围：