第六章模式特征的选择与提取.pptVIP

模式识别Pattern Recognition 第六章 特征抽取与选择 内容目录 6.1 特征抽取和选择的基本概念 特征的选择与提取是模式识别中重要而困难的一个环节： 分析各种特征的有效性并选出最有代表性的特征是模式识别的关键一步 降低特征维数在很多情况下是有效设计分类器的重要课题 三大类特征：物理、结构和数学特征 物理和结构特征：易于为人的直觉感知，但有时难于定量描述，因而不易用于机器判别 数学特征：易于用机器定量描述和判别，如基于统计的特征 特征的形成 特征形成 (acquisition)： 信号获取或测量→原始测量 原始特征 实例： 数字图象中的各像素灰度值 人体的各种生理指标 原始特征分析： 原始测量不能反映对象本质 高维原始特征不利于分类器设计：计算量大，冗余，样本分布十分稀疏 特征的选择与提取 两类提取有效信息、压缩特征空间的方法：特征提取和特征选择 特征提取 (extraction)：用映射（或变换）的方法把原始特征变换为较少的新特征 特征选择(selection) ：从原始特征中挑选出一些最有代表性，分类性能最好的特征 特征的选择与提取与具体问题有很大关系，目前没有理论能给出对任何问题都有效的特征选择与提取方法 特征的选择与提取举例 细胞自动识别： 原始测量：（正常与异常）细胞的数字图像 原始特征（特征的形成，找到一组代表细胞性质的特征）：细胞面积，胞核面积，形状系数，光密度，核内纹理，和浆比 压缩特征：原始特征的维数仍很高，需压缩以便于分类 特征选择：挑选最有分类信息的特征 特征提取：数学变换 傅立叶变换或小波变换 用PCA方法（主元分析法）作特征压缩 6.2 类别可分离性判据 类别可分离性判据：衡量不同特征及其组合对分类是否有效的定量准则 理想准则：某组特征使分类器错误概率最小 实际的类别可分离性判据应满足的条件： 度量特性： 与错误率有单调关系 当特征独立时有可加性： 单调性： 常见类别可分离性判据：基于距离、概率分布、熵函数 6.2.1基于距离的可分性判据 类间可分性:=所有样本间的平均距离： 基于距离的可分性判据矩阵形式 6.2.2基于概率的可分性判据 基于概率的可分性判据：用概率密度函数间的距离来度量 正态分布的散度 6.2.3基于熵函数的可分性判据 熵函数： 类别可分离性判据应用举例 图像分割：Otsu灰度图像阈值算法(Otsu thresholding) 图像有L阶灰度，ni是灰度为i的像素数，图像总像素数 N= n1+n2+ … + nL 灰度为i的像素概率：pi = ni/N 类间方差： Otsu thresholding 灰度图像阈值: 6.3 特征抽取方法 特征提取：用映射（或变换）的方法把原始特征变换为较少的新特征 PCA (Principle Component Analysis)方法：进行特征降维变换，不能完全地表示原有的对象，能量总会有损失。希望找到一种能量最为集中的的变换方法使损失最小 K-L (Karhunen-Loeve)变换：最优正交线性变换，相应的特征提取方法被称为PCA方法 K-L变换 离散K-L变换：对向量x用确定的完备正交归一向量系uj展开 离散K-L变换的均方误差 用有限项估计x ： 求解最小均方误差正交基 用Lagrange乘子法： K-L变换的表示 K-L变换的向量展开表示： K-L变换的性质 y的相关矩阵是对角矩阵： K-L变换的性质 K-L坐标系把矩阵R对角化，即通过K-L变换消除原有向量x的各分量间的相关性，从而有可能去掉那些带有较少信息的分量以达到降低特征维数的目的 K-L变换图解 K-L变换的数据压缩 取2x1变换矩阵U=[u1]，则x的K-L变换y为： y = UTx = u1T x = y1 变换的能量损失为 K-L变换的产生矩阵 数据集KN={xi}的K-L变换的产生矩阵由数据的二阶统计量决定，即K-L坐标系的基向量为某种基于数据x的二阶统计量的产生矩阵的本征向量 K-L变换的产生矩阵可以有多种选择： x的相关函数矩阵R=E[xxT] x的协方差矩阵C=E[(x-μ) (x-μ)T] 样本总类内离散度矩阵： 未知类别样本的K-L变换 用总体样本的协方差矩阵C=E[(x-μ) (x-μ)T]进行K-L变换，K-L坐标系U=[u1,u2,...,ud]按照C的本征值的下降次序选择 例：设一样本集的协方差矩阵是：求最优2x1特征提取器U解答：计算特征值及特征向量[V, D]=eig(C);特征值D=[24.736, 2.263]T,特征向量:由于λ1λ2，故最优2x1特征提取器此时的K-L变换式为： 6.4 特征选择方法 特征选择:=从原始特征中挑选出一些最有代表性、分类性能最好的特征进行分类 从D个特征中选取d个,共