模式识别第8章.pptVIP

离散程度与标准差、方差 通过对随机变量取值之间离散程度的测定，可以反映各个观测个体之间的差异大小，从而也就可以反映分布中心的指标对各个观测变量值代表性的高低。 标准差：是随机变量各个取值偏差平方的平均数的算术平方根，是最常用的反映随机变量分布离散程度的指标。 标准差是一组数值自平均值分散开来的程度的一种测量观念。 一个较大的标准差，代表大部分的数值和其平均值之间差异较大； 一个较小的标准差，代表这些数值较接近平均值。 例如，两组数的集合 {0, 5, 9, 14} 和 {5, 6, 8, 9} 其平均值都是 7 ， 但第二个集合具有较小的标准差。 ICA定义 定义一：利用很少的先验知识将混合信息分离成独立分量的一种重要方法。 定义二：找到事物的一种合理表示，使得各分量最大化地独立。 20世纪八十年代才被提出。 cocktail-party problem 例子：cocktail-party problem cocktail-party problem ICA 模型(经典) xj = aj1s1 + aj2s2 + .. + ajnsn, 对于每一个 j x = As 条件：s和A均是未知的，只有x已知 目标: 通过x估计出A和s 每一个si成分统计独立 限制： 每一个成分都不是Gaussian分布（实际上未知） 混合矩阵A为方阵且可逆（这个限制可以放松） 结论：估计出A之后，我们就可以得到s（s= A-1x） PCA与ICA比较 两者都是线性变换 都可以看作一些分量的组合。 不同的是 PCA而言，各分量不相关 ICA而言， 各分量独立 PCA的目的是找到这样一组分量表示，使得重构误差最小，即最能代表原事物的特征。 ICA的目的是找到这样一组分量表示，使得个分量最大化独立，能够发现一些隐藏因素。 ICA是PCA的增强 特征选择：从原始特征中挑选出一些最有代表性、分类性能好的特征以达到降低特征空间维数的目的。 也就是说，特征选择就是从已有的D个原始特征中挑选出d个特征组成一个特征子集，同时将D-d个对类别可分离性无贡献的或贡献不大的特征简单地忽略掉。 Sources Mixture 8.2.2 独立成分分析（续） 例：用独立成分分析分离混合信号 8.3 特征选择的基本概念 特征选择(Feature Selection)： 从原始特征中挑选出一些最有代表性、可分性能最好的特征。 8.3.1 特征选择的必要性 例：二维特征选择 -1 1 1 -1 1 若只选择第1个特征 若只选择第2个特征 -1 1 特征选择面临的两个问题： （1）有一个选择的标准。即要选出使某一可分性达最大的一组特征； （2）找一个较好的算法。即要在允许的时间内找出最优的一组特征； 特征选择的几种新方法：（教材P205） （1）模拟退火算法； （2）Tabu搜索算法； （3）遗传算法； 8.3.2 特征选择面临的问题及解决之道 常用特征选择方法 最优搜索算法； 次优搜索算法； （教材P199） （教材P202） * * Bian ZhaoQi * Bian ZhaoQi * Bian ZhaoQi 　　 * 第8章 特征提取与特征选择Chapter 8: Feature extraction and feature selection 本章主要内容 8.1 特征提取的基本概念 8.3 特征选择的基本概念 8.2 常见特征提取方法 8.1 特征提取的基本概念 原始特征：通过直接测量得到的特征称为原始特征。比如人体的各种生理指标（描述其健康状况）；数字图像中的每点灰度值（以描述图像内容），都是原始特征。 特征提取：通过映射(变换)的方法把高维的特征向量变换为低维的特征向量。 通过特征提取获得的特征是原始特征集的某种组合，即A:X→Y，可见新的特征中包含有原有全体特征的信息。 8.1.1 特征提取的必要性 1 2 3 4 5 转化成列向量 0 1 0 1 0 0 0 1 2 3 35 34 33 0 1 0 0 1 1 “1” 特征提取 35 模式“1”的图片 （原始特征） 通过直接测量得到的特征称为原始特征； 例1：数字识别 8.1.1 特征提取的必要性（续） 例2：表情识别 256×256 32×32 =1024 抽样 1 1 1024 11 提取的特征个数 （原始特征） 特征提取 原始特征过多，不利于识别； 8.1.1 特征提取的必要性（续） 例3：指纹