模式识别之特征选择和提取课件.pptVIP

模式识别之特征选择和提取;5.1 基本概念 5.2 类别可分性测度 5.3 基于类内散布矩阵的单类模式特征提取 5.4 基于K-L变换的多类模式特征提取;5.1 基本概念;(1) 具有很大的识别信息量。即应具有很好的可分性。 (2) 具有可靠性。模棱两可、似是而非、时是时非等不易判别 的特征应丢掉。 (3) 尽可能强的独立性。重复的、相关性强的特征只选一个。 (4) 数量尽量少，同时损失的信息尽量小。;(c)是具有分类能力的特征，故选(c)， 扔掉(a) 、 (b) 。;[法2]：① 特征抽取：测量 物体向两个坐标轴的投影 值，则A、B各有2个值域区 间。可以看出，两个物体的 投影有重叠，直接使用投影 值无法将两者区分开。;5.2 类别可分性测度;特征选择和提取的结果应使类内散布矩阵的迹愈 ？愈好。;类间散布矩阵的迹愈大愈有利于分类。;3．多类模式向量间的距离和总体散布矩阵;（5-8） ;得;4）多类模式平均平方距离与总体散布矩阵的关系; 距离与散布矩阵作为可分性测度的特点： * 计算方便，概念直观（反映模式的空间分布情况 ）； * 与分类错误率没有直接的联系。; 对不同的X，似然函数不同，对数似然比体现的可分性 不同，通常采用平均可分性信息——对数似然比的期望值 。 ; 散度表示了区分ωi类和ωj 类的总的平均信息。;（3）错误率分析中，两类概率密度曲线交叠越少，错误率越小。 ;据此可估计每一个特征在分类中的重要性： 散度较大的特征含有较大的可分信息——保留。;——　两类模式之间马氏距离的平方 ;5.3 基于类内散布矩阵的单类模式特征提取;讨论内容： * 根据类内散布矩阵如何确定变换矩阵A； * 通过A如何进行特征提取。;—— n个特征向量相互正交，且都是单位长度。 ;(1);(3) 变换后的类内距离;;2．特征提取的方法;第四步：利用A对样本集{X}进行变换。;由 ;;5.4 基于K-L变换的多类模式特征提取;1．K-L展开式;由 两边 左乘 得 。;;K-L变换方法：;2．利用自相关矩阵的K-L变换进行特征提取; 3．不同散布矩阵的K-L变换 ; 适用于类间距离比类内距离大得多的多类问题，选择与大 特征值对应的特征向量组成变换矩阵。;2）变换后的新模式向量各分量相对总体均值的方差等于原样本 集总体自相关矩阵的大特征值，表明变换突出了模式类之间 的差异性。;3）计算矩阵的本征值和本征向量缺乏统一的快速算法，给计算 带来困难。 ;多类类内散布矩阵Sw;2．散度准则;5.5.2 特征选择的方法;使用条件：;例：从5个特征中选出2个特征作为模式向量。 ;2．次优搜索算法;结束