模式识别之特征选择与提取讲解.pptVIP

1 ． K-L 展开式 设 { X } 是 n 维随机模式向量 X 的集合，对每一个 X 可以 用确定的完备归一化正交向量系 } { j u 中的正交向量展开： ? ? ? ? 1 j j a j u X a j ：随机系数； 用有限项估计 X 时 ： ? ? ? d j j a 1 ? j u X 引起的均方误差： )] ? ( ) ? [( T X X X X ? ? ? E ? ] [ 1 2 ? ? ? ? ? d j j a E ξ ? ? ? ? ? ? i j i j , 0 , 1 T j i u u 代入 X 、 ，利用 X ? ] [ 1 2 ? ? ? ? ? d j j a E ξ ? ? ? ? 1 j j a j u X 由 两边 左乘 得 。 T j u X u j T ? j a ] [ 1 T T ? ? ? ? ? d j E j j u XX u ? ? ? ? ? ? 1 T ] [ d j t E j j u XX u u j 为确定 性向量 ? ? ? ? ? 1 T d j R j j u u R ：自相关矩阵。 不同的 } { j u 对应不同的均方误差， j u 的选择应使 ξ 最小。 利用拉格朗日乘数法求使 ξ 最小的正交系 } { j u ，令 ) 1 ( ) ( 1 T 1 T ? ? ? ? ? ? ? ? ? ? ? d j d j g j j j j j j u u u R u u ? j λ ：拉格朗日乘数 用函数 ) ( j u g 对 j u 求导，并令导数为零，得 0 ) ( ? ? j j u I R ? ? ? ? , , 1 ? d j ——正是矩阵 R 与其特征值和对应特征向量的关系式。 说明：当用 X 的自相关矩阵 R 的特征值对应的特征向量展开 X 时，截断误差最小。 选前 d 项估计 X 时引起的均方误差为 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 1 T 1 1 T ] tr[ d j j d j d j λ j j j j u R u u R u ? j λ 决定截断的均方误差， j λ 的值小，那么 ξ 也小。 因此，当用 X 的正交展开式中前 d 项估计 X 时，展开式中 的 u j 应当是前 d 个较大的特征值对应的特征向量。 ) 1 ( ) ( 1 T 1 T ? ? ? ? ? ? ? ? ? ? ? d j d j g j j j j j j u u u R u u ? K-L 变换方法： 对 R 的特征值由大到小进行排队： ? ? ? ? ? ? ? ? 1 2 1 d d λ λ λ λ 均方误差最小的 X 的近似式： ? ? ? d j j a 1 j u X Ua X ? ? ? ? ? ? ? i j i j , 0 , 1 T j i u u I u u u u u u U U d d ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ] [ T T T T ? ? 2 1 2 1 矩阵形式： 式中， ， 。 T 2 1 ] , , , [ d a a a ? ? a ] , , , , [ d u u u U ? ? j d n 1 ? ? T 2 1 ] , , , [ jn j j u u u ? ? j u 其中： （ 5-49 ） —— K-L 展开式 对式 (5-49) 两边左乘 U t ： X U a T ? —— K-L 变换 系数向量 a 就是变换后的模式向量。 1 1 [ ] N j j j E XX X X N ? ? ? ? ? R 自相关矩阵 2 ．利用自相关矩阵的 K-L 变换进行特征提取 设 X 是 n 维模式向量， } { X 是来自 M 个模式类的样本集， 总样本数目为 N 。将 X 变换为 d 维 ) ( n d ? 向量的方法： 第一步：求样本集 { X } 的总体自相关矩阵 R 。 ? ? ? ? N j j j N E 1 T T 1 ] [ X X XX R 第二步：求 R 的特征值 j λ ， n j , , 2 , 1 ? ? 。对 特征值由大到小 进行排队