特征的选择与提取武汉大学,王赞文伟老师.ppt

模式识别导论Pattern Recognition 第六章 特征的选择与提取 王文伟 Wang Wenwei, Dr.-Ing. Tel: 687-78652 Email: wwwang@ Web: /sites/ced/pr/ 电子信息学院 Table of Contents 电子信息学院 6.1 基本概念 特征的选择与提取是模式识别中重要而困难的一个环节： 分析各种特征的有效性并选出最有代表性的特征是模式识别的关键一步。 降低特征维数在很多情况下是有效设计分类器的重要课题。 三大类特征：物理、结构和数学特征 物理和结构特征：易于为人的直觉感知，但有时难于定量描述，因而不易用于机器判别。 数学特征：易于用机器定量描述和判别，如基于统计的特征。 引言 特征的形成 特征形成 (acquisition)： 信号获取或测量→原始测量 原始特征 实例： 数字图象中的各像素灰度值 人体的各种生理指标 原始特征分析： 原始测量不能反映对象本质 高维原始特征不利于分类器设计：计算量大，冗余，样本分布十分稀疏。 引言 特征的选择与提取 两类提取有效信息、压缩特征空间的方法：特征提取和特征选择 特征提取 (extraction)：用映射（或变换）的方法把原始特征变换为较少的新特征。 特征选择(selection) ：从原始特征中挑选出一些最有代表性，分类性能最好的特征。 特征的选择与提取与具体问题有很大关系，目前没有理论能给出对任何问题都有效的特征选择与提取方法。 引言 特征的选择与提取举例 细胞自动识别： 原始测量：（正常与异常）细胞的数字图像 原始特征（特征的形成，找到一组代表细胞性质的特征）：细胞面积，胞核面积，形状系数，光密度，核内纹理，核浆比 压缩特征：原始特征的维数仍很高，需压缩以便于分类 特征选择：挑选最有分类信息的特征 特征提取：数学变换 傅立叶变换或小波变换 用PCA方法作特征压缩 引言 6.2 类别可分离性判据 类别可分离性判据：衡量不同特征及其组合对分类是否有效的定量准则 理想准则：某组特征使分类器错误概率最小 实际的类别可分离性判据应满足的条件： 度量特性： 与错误率有单调关系 当特征独立时有可加性： 单调性： 常见类别可分离性判据：基于距离、概率分布、熵函数 基于距离的可分性判据 类间可分性:=所有样本间的平均距离： (8-1) squared Euclidian (8-5) 类内平均距离 类间距离 (8-6) 可分性判据 基于距离的可分性判据矩阵形式 基于距离的准则概念直观，计算方便，但与错误率没有直接联系 样本类间离散度矩阵 样本类内离散度矩阵 类间可分离性判据 可分性判据 基于概率的可分性判据 基于概率的可分性判据：用概率密度函数间的距离来度量 散度： 正态分布： Mahalanobis 可分性判据 基于熵函数的可分性判据 熵函数： Shannon熵： 平方熵： 熵函数期望表征类别的分离程度： 可分性判据 类别可分离性判据应用举例 图像分割：Otsu灰度图像阈值算法(Otsu thresholding) 图像有L阶灰度，ni是灰度为i的像素数，图像总像素数 N= n1+n2+ … + nL 灰度为i的像素概率：pi = ni/N 类间方差： 可分性判据 Otsu thresholding 灰度图像阈值: Otsu灰度图像二值化算法演示及程序分析: 可分性判据 6.3 特征提取与K-L变换 特征提取：用映射（或变换）的方法把原始特征变换为较少的新特征 PCA (Principle Component Analysis)方法：进行特征降维变换，不能完全地表示原有的对象，能量总会有损失。希望找到一种能量最为集中的的变换方法使损失最小。 K-L (Karhunen-Loeve)变换：最优正交线性变换，相应的特征提取方法被称为PCA方法 K-L变换 离散K-L变换：对向量x用确定的完备正交归一向量系uj展开 特征提取 离散K-L变换的均方误差 用有限项估计x ： 该估计的均方误差： 特征提取 求解最小均方误差正交基 用Lagrange乘子法： 结论：以相关矩阵R的d个本征向量为基向量来展开x时，其均方误差为： K-L变换：当取矩阵R的d个最大本征值对应的本征向量来展开x时，其截断均方误差最小。这d个本征向量组成的正交坐标系称作x所在的D维空间的d维K-L变换坐标系， x在K-L坐标系上的展开系数向量y称作x的K-L变换 特征提取 K-L变换的表示 K-L变换的向量展开表示： K-L变换的矩阵表示： 特征提取 K-L变换的性质 y的相关矩阵是对角矩阵： 特征提取 K-L变换的性质 K-L坐标系把矩阵R对角化，即通过K-L变换消除原有向量x的各分量间的相关性，从而有可能去掉那些带有较