类别可分性测度5.3 基于类内散布矩阵的单类.ppt

第5章 ;5.1 基本概念 5.2 类别可分性测度 5.3 基于类内散布矩阵的单类模式特征提取 5.4 基于K-L变换的多类模式特征提取;5.1 基本概念;(1) 具有很大的识别信息量。即应具有很好的可分性。 (2) 具有可靠性。模棱两可、似是而非、时是时非等不易判别 的特征应丢掉。 (3) 尽可能强的独立性。重复的、相关性强的特征只选一个。 (4) 数量尽量少，同时损失的信息尽量小。;(c)是具有分类能力的特征，故选(c)， 扔掉(a) 、 (b) 。;[法2]：① 特征抽取：测量 物体向两个坐标轴的投影 值，则A、B各有2个值域区 间。可以看出，两个物体的 投影有重叠，直接使用投影 值无法将两者区分开。;5.2 类别可分性测度;特征选择和提取的结果应使类内散布矩阵的迹愈 ？愈好。;类间散布矩阵的迹愈大愈有利于分类。;3．多类模式向量间的距离和总体散布矩阵;（5-8） ;得;4）多类模式平均平方距离与总体散布矩阵的关系; 距离与散布矩阵作为可分性测度的特点： * 计算方便，概念直观（反映模式的空间分布情况 ）； * 与分类错误率没有直接的联系。; 对不同的X，似然函数不同，对数似然比体现的可分性 不同，通常采用平均可分性信息——对数似然比的期望值 。 ; 散度表示了区分ωi类和ωj 类的总的平均信息。;（3）错误率分析中，两类概率密度曲线交叠越少，错误率越小。 ;据此可估计每一个特征在分类中的重要性： 散度较大的特征含有较大的可分信息——保留。;——　两类模式之间马氏距离的平方 ;5.3 基于类内散布矩阵的单类模式特征提取;讨论内容： * 根据类内散布矩阵如何确定变换矩阵A； * 通过A如何进行特征提取。;—— n个特征向量相互正交。 ;(1);(3) 变换后的类内距离;根据以上特点得到构造变换矩阵的方法：;2．特征提取的方法;第四步：利用A对样本集{X}进行变换。;由 ;变换前;5.4 基于K-L变换的多类模式特征提取;1．K-L展开式;由 两边 左乘 得 。;说明：当用X的自相关矩阵R的特征值对应的特征向量展开X 时，截断误差最小。 ;K-L变换方法：;2．利用自相关矩阵的K-L变换进行特征提???; 3．不同散布矩阵的K-L变换 ; 适用于类间距离比类内距离大得多的多类问题，选择与大 特征值对应的特征向量组成变换矩阵。;2）变换后的新模式向量各分量相对总体均值的方差等于原样本 集总体自相关矩阵的大特征值，表明变换突出了模式类之间 的差异性。;3）计算矩阵的本征值和本征向量缺乏统一的快速算法，给计算 带来困难。 ;;多类类内散布矩阵Sw;;2．散度准则;5.5.2 特征选择的方法;使用条件：;例：从5个特征中选出2个特征作为模式向量。 ;2．次优搜索算法;结束;H9KcOfRiUmXp#s&v)z0C3F7IaLdPgSkVnYq$t*w-A1D5G8JbNeQhTlWo#r%u(y+B2E6H9KcOfRjUmXp!s&v)z0C4F7IaMdPgSkVnZq$t*x-A1D5G8KbNeQiTlWo#r%v(y+B3E6H9LcOgRjUmYp!s&w)z1C4F7JaMdPhSkVnZq$u*x-A2D5G8KbNfQiTlXo#r%v(y0B3E6I9LcOgRjVmYp!t&w)z1C4G7JaMePhSkWnZr$u*x+A2D5H8KcNfQiUlXo#s%v)y0B3F6I9LdOgRjVmYq!t&wD5G8KbNfQiTlXo#r%v(y0B3E6I9LcOgRjVmYp!t&w)z1C4G7JaMePhSkWnZr$u*x+A2D5H8KbNfQiUlXo#s%v(y0B3F6I9LdOgRjVmYq!t&w-z1C4G7JbMePhTkWnZr$u(x+A2E5H8KcNfRiUlXp#s%v)y0C3F6IaLdOgSjVnYq!t*w-z1D4G7JbMeQhTkWoZr$u(x+B2E5H9KcNfRiUmXp#s&v)y0C3F7IaLdPgSjVnYq$t*w-A1D4G8JbNeQhTlWoZr%u(y+B2E6H9KcOfRiUmXp!s&v)z0C3F7IaMdPgSkVnYq$t*x-A1D5G8JbNeQiTlWo#r%u(y+B3E6H9LcOfRjUmYp!s&w)z0C4F7JaMdPhSkVnZq$t*x-A2D5G8KbNeQiTlXo#r