模式识别第七章特征提取与选择.ppt

7.2.3基于后验概率的可分性判据在信息论中，熵(Entropy)表示不确定性，熵越大不确定性越大。可以借用熵的概念来描述各类的可分性。对于c类问题，给定各类的后验概率可以写成如下形式：熵的定义：由洛必达法则知：当时第29页,共49页，星期六，2024年，5月7.2.3基于后验概率的可分性判据例如：

显然这时能实现完全正确的分类识别第30页,共49页，星期六，2024年，5月7.2.3基于后验概率的可分性判据第31页,共49页，星期六，2024年，5月7.2.3基于后验概率的可分性判据熵的主要性质：(4)其中说明当类别较少时，分类识别的不确定性变小。从特征选择角度看，我们应选择使熵最小的那些特征用于分类即选用具有最小不确定性的特征进行分类是有益的。第32页,共49页，星期六，2024年，5月使熵最小的特征利于分类，取熵的期望：广义熵（具有熵的性质，利于计算）定义为:式中?0，??1。不同的?值可得不同的可分性度量。当??1时，由洛必达法则可得Shannon熵当?=2时，可得平方熵第33页,共49页，星期六，2024年，5月使用判据进行特征提取与选择时，我们的目标是使。同理，我们亦可用点熵在整个特征空间的概率平均作为可分性判据。7.2.3基于后验概率的可分性判据第34页,共49页，星期六，2024年，5月第七章特征提取与选择7.5离散K-L变换及其在特征提取与选择中的应用第35页,共49页，星期六，2024年，5月7.5.1离散K-L变换（DKLT）

DKLT的性质：使变换后产生的新的分量正交或不相关;以部分新分量表示原矢量均方误差最小;使变换矢量更趋确定、能量更趋集中。有限离散K-L变换（DKLT）,又称霍特林(Hotelling)变换或主分量分解,它是一种基于目标统计特性的最佳正交变换。第36页,共49页，星期六，2024年，5月7.5.1离散K-L变换（DKLT）

设n维随机矢量rLxxxxn=(,,,)12T，其均值矢量[]rrxEx=，相关阵[]RExxxrrr=T，协方差阵[]CExxxxxrrrrr=--()()T，rx经正交变换后产生矢量rLyyyyn=(,,,)12T，第37页,共49页，星期六，2024年，5月设有标准正交变换矩阵T，（即TT=I）取前m项为的估计值（称为的K-L展开式）其均方误差为第38页,共49页，星期六，2024年，5月xtyiirr=在T‘T=I的约束条件下,要使均方误差为此作准则函数由可得即第39页,共49页，星期六，2024年，5月?i是的特征值，而是相应的特征矢量。由表明:利用上式有:7.5.1离散K-L变换（DKLT）在上述的估计式中，如果不是简单地舍弃后(n-m)项，而是用预选的常数bi代替yi,i=m+1,…,n，此时的估计式为:第40页,共49页，星期六，2024年，5月7.5.1离散K-L变换（DKLT）的均方误差为:（1）最佳的bi可通过求得第41页,共49页，星期六，2024年，5月7.5.1离散K-L变换（DKLT）第42页,共49页，星期六，2024年，5月7.5.1离散K-L变换（DKLT） 因为为非负定阵，故有上述的讨论可归纳为:当我们用简单的“截断”方式产生估计式时,使均方误差最小的正交变换矩阵是随机矢量x的相关阵Rx的特征矢量矩阵;当估计式除了选用m个分量yi(i=1,2,…,m)之外,还用余下的各yi的均值bi代替相应的分量时,使均方误差最小的正交变换矩阵是x的协方差阵。这表明对于相同的m，第一种估计式比第二种估计式的均方差大。第43页,共49页，星期六，2024年，5月DKLT的性质(1)变换后各特征分量正交或不相关的自相关阵和协方差阵为①变换后的矢量的各分量是正交的,或不相关的(因为

C=R-E(x)E(x’)，当E(x)=0时，不相关即是正交)；②?i=E(yi2),或?i=E{[yi-E(yi)]2}(方差)第44页,共49页，星期六，2024年，5月妈妈新开了