KL变换特征提取.ppt

二、类均值向量的最优K-L压缩 上面讨论的K-L压缩不是最优压缩。寻找一种解除坐标之间的相关性的方法，又称两步变换，即最优压缩变换。第一步实现坐标轴之间耦合的解除，第二步实现正交归一变换。 例9.2 前例，求保持类平均向量中全部分类 信息条件下压缩为一维特征空间的坐标系。 二次变换的最优压缩对数据的作用如图所示 三、由类中心向量获取判别信息 1、类中心向量包含的信息 两类问题：类均值相等，但是类方差不等， 其分类信息如图所示。 类条件方差的离散度 可以衡量该分量对于分类的显著性 （3）由熵准则J(xj)表征xj 的显著性 （4）熵值排序，根据分量的显著性确定压缩 坐标 取前d个坐标轴作为压缩坐标系统。 说明： 四、用于非监督模式识别问题中的特征提取 例题9.4 五、K-L变换用于图象压缩 已知2维像素数据 作Walsh变换 Walsh变换矩阵为 由2维Walsh变换有 计算Y的协方差矩阵 Ry中大于1的数据只有4个 取Y的近似 原来传输16个数据， 现经过压缩，仅传 输4个数据即可。 作Walsh反变换 均方误差最小。 用于可视电话数据的传输可将数据压缩为：2bit/pixel 9.1 傅立叶级数展开式 周期随机过程的傅立叶级数（三角级数） 平稳随机过程： 自相关函数等于其数学期望的2阶原点矩。 公式说明： 9.2 K-L展开 非周期随机过程： 正弦函数族不能使其傅立叶系数不相关，但是 可以寻找一个新的正交函数族?n(t)，使得其变 换系数互不相关 。 K-L变换定义 假设一个非周期随机过程，在区间[a, b]展开式为 函数族?n(t)是正交的 变换系数互不相关 称式 为x(t)的 K-L 展开，其逆过程为K-L变换。 其中?n是为使得自相关系数单位化引入的实或 复的系数 计算相关函数 在离散情况下 结论 9.3 K-L展开式的性质 基于这些性质，K-L变换适用于特征提取。 性质一：展开系数互不相关 K-L展开式的第一个重要性质是展开系数彼 此无关的，即任意两个系数乘积的期望为 其中：?ij为Kronecker积 。 说明： 因为 来自样本，K-L坐标系将其作 了对角化，消除了原向量x各分量之间的相关 性。从而可能消去带有较少信息的坐标轴， 降低空间的维数。例如，简化坐标： 性质二：表示熵 信息熵是对于不确定性的度量。K-L变换的实质是使矩阵的D个特征值中，只有几个是较大的，其余较小，因此，K-L坐标系可以有效地进行信息压缩。 说明： 1 如果所有的特征值相等，即同等重要，则 HR取最大值。 2 如果熵值=0，则表示x的所有信息仅由一个展开项表示即可。 3 熵函数叫做表示熵，可以用来估计信息压 缩的程度。 4 对同一特征向量集{x}，K-L坐标系下的表示熵为最小。 性质三：总体熵 一般说来，各类均值向量通常包含有较多的判别信息。 选择这样一些特征量，使当用同一类的这些特征量的均值所组成的向量代表该类的样本用来进行分类时，所引起的分类不确定性度量最小。 可以用总体熵来度量这种分类的不确定性。 总体熵可以作为类均值向量代表同类各样本的不确定性的一种度量。 总体熵的意义 9.4 K-L坐标系的生成 数据集合{x}的K-L坐标系是由二阶统计量来确定的。可以使用以下几种方法来生成K-L坐标系： 样本所属类别未知时： 1、可以使用样本的自相关矩阵 2、对于无类别标签的样本集，均值向量无意 义，也常使用协方差矩阵 样本所属类别已知时： 可以使用各种二阶矩，得到不同的K-L坐标系 1、使用总类内离散度矩阵 使用条件： （1）样本集合{x}有类别标签 （2）各类的先验概率已知 （3）均值向量已知 （4）协方差矩阵已知 2、每次使用一个类别样本集合来建立K-L坐 标系， 该K-L变换常用于信息压缩，很少用于分类。 例： 9.5 K-L变换的应用 类条件均值向量包含有大量的分类信息。可以应用K-L变换来降低研究问题的维数，以便有效地分类。 步骤： 1、使用总类内离散度生成K-L坐标系 一、类均值向量的坐标压缩 2、计算Sw的特征值矩阵?与变换矩阵U， 3、计算各个分量的分类性能J(xj) 4、将J(xj)重新排队 确定由前d个K-L分量来表征对象的显著性。 5、确定空间压缩维数（d维）或者分类 。 为了把维数从2压缩到1，首先求 计算总类内离散度，K-L坐标系生成依据。