电气故障诊断方法上课用.ppt

模式识别的三大核心问题: 通常在得到实际对象的若干具体特征之后，再由这些原始特征产生出对分类识别最有效、数目最少的特征，这就是特征提取与选择的任务。从本质上讲，我们的目的是使在最小维数特征空间中异类模式点相距较远（类间距离较大），而同类模式点相距较近（类内距离较小）。 (2) 变换法，在使判据J 取最大的目标下，对n 个原始特征进行变换降维，即对原n 维特征空间进行坐标变换，然后再取子空间。 可以看出，它等于共同具有的特征数目与分别具有的特征种类总数之比。这里只考虑(1-1)匹配而不考虑(0-0)匹配。 3.2 线性判别函数 特征提取与选择 类别可分性判据 离散K-L变换及其在特征提取 与选择中的应用 特征选择中的直接挑选法 第七章 特征提取与选择 7.1 概 述 模式识别的三大核心问题: 通常在得到实际对象的若干具体特征之后，再由这些原始特征产生出对分类识别最有效、数目最少的特征，这就是特征提取与选择的任务。从本质上讲，我们的目的是使在最小维数特征空间中异类模式点相距较远（类间距离较大），而同类模式点相距较近（类内距离较小）。 （2）变换法，在使判据J 取最大的目标下，对n 个原始特征进行变换降维，即对原n 维特征空间进行坐标变换，然后再取子空间。 7.2 类别可分性判据 可用两类概密函数的重叠程度来度量可分性，构造基于类概密的可分性判据。此处的所谓重叠程度是指两个概密函数相似的程度。 Jc 性质（1）证明： 考虑函数 f(s) = sa+(1-s)b-asb1-s (a,b0) Jc 性质（2）证明： 只考虑连续的情况： 因为f(0)=f(1) = 0 ，当 0? s ? 1 时 Jc 性质（5）证明： (三)散度JD (Divergence) ?i类对?j类的平均可分性信息为： (三)散度JD (Divergence) 散度具有如下性质： 对于JC 判据的最小误分概率的上界 为求最佳的s*，使上界取最小值Ch (称为Chernoff界限) s*应满足 上式当P(?1)= P(?2)时， s* =1/2，当P(?1)?P(?2)时， s* ? 1/2 ， 对于c类问题，可采用平均B-判据、C-判据、D-判据： 大盖小问题 在特征空间中，若有某两类间的JB、JC或JD很大，可使平均判据变大，这样就掩盖了某些类对的判据值较小的情况存在，从而可能降低总的分类正确率，即所谓的大盖小问题。为改善这种情况，可对每个类对的判据采用变换的方法，使对小的判据较敏感。例如，对JD ，可采用变换 在信息论中，熵(Entropy)表示不确定性，熵越大不确定性越大。可以借用熵的概念来描述各类的可分性。 使熵最小的特征利于分类，取熵的期望： 广义熵（具有熵的性质，利于计算）定义为: 第七章 特征提取与选择 7.3 基于可分性判据进行变换的 特征提取与选择 7.3.1 基于离差阵判据的变换法 （二）对于行列式形式的判据 以J4为例，由于SW是对称正定矩阵，设有非奇异阵A，使 因为 从J4的构造可知，用J4作判据 ，不至于选用那些只对两类有很好的可分性而对其他各类分类效果不好的特征。而对于J1 =Tr[SW-1SB]，只要一个?i很大就会发生这种情况。 例7.1 给定两类模式，其先验概率P(?1)= P(?2) ，均值矢量分别为 和 ，离差阵分别为 求基于判据J4的最优特征提取。 第七章 特征提取与选择 7.5 离散K-L变换及其在 特征提取与选择中的应用 7.5.1 离散K-L变换（DKLT） 7.5.1 离散K-L变换（DKLT） 设有标准正交变换矩阵T，（即 TT=I） 在T‘T=I的约束条件下,要使均方误差 在上述的估计式中，如果不是简单地舍弃后(n-m)项，而是用预选的常数bi代替yi, i=m+1,…,n，此时的估计式为: DKLT的性质 (1) 变换后各特征分量正交或不相关 的自相关阵和协方差阵为 ①变换后的矢量的各分量是正交的,或不相关的(因为C=R-E(x)E(x’)，当E(x)=0时，不相关即是正交)； ②?i=E(yi2),或?i=E{[yi -E(yi)]2} (方差) (2)最佳逼近性 (3)使能量向某些分量相对集中，增强随机矢量总体的确定性 例: 已知两类样本 试用K-L变换做一维特征提取。 （4）选?1对应的 作为变换矩阵 7.5.2 基于总的类内、类间离差矩阵、进行特征提取选择 7.5.2 基于总的类内、类间离差矩阵、进行特征提取选择 基于总的类内离