UCAS模式识别.pdfVIP

中国科学院大学计算机与控制学院硕士课 《模式识别》 第3章：参数估计(续) 刘成林(liucl@nlpr.ia.ac.cn) 2015年10月14 日 助教：杨学行(xhyang@nlpr.ia.ac.cn) 吴一超(yichao.wu@nlpr.ia.ac.cn) 上次课主要内容回顾 • 离散变量贝叶斯决策 • 复合模式分类 • 最大似然参数估计 • 贝叶斯估计 高斯分布的情况 Parameter space vs feature space 二者的区别和联系 2 提 纲 • 第3章 – 特征维数问题 – 期望最大法 – 隐马尔可夫模型 3 特征维数问题 • 统计模式分类 – 特征空间划分 – 贝叶斯决策：最小风险规则，MAP • 增加特征有什么好处 – 判别性：类别间有差异的特征有助于分类 • 带来什么问题 – 计算 – 存储 – 泛化性能，Overfitting 4 分类错误率与特征的关系 • 二类高斯分布 – p(x |ω )~N(μ ,Σ),j =1,2, 等协方差矩阵 j j – Bayes error rate – Conditionally independent case • 每一维二类均值之间距离反映区分度，决定错误率 2 • 特征增加有助于减小错误率(r 增大) 5 • 特征维数决定可分性的例子 – 3D空间完全可分 – 2D和1D投影空间有重叠 然而，增加特征也可能导致分类性能更差，因为有模型 估计误差(wrong model) 6 计算复杂度 • 最大似然估计 – 高斯分布，d维特征，n个样本 – 参数估计的复杂度，主要由Σ决定 • 参数存储复杂度 c(d d (d 1) / 2) • 分类复杂度？ 7 过拟合(Overfitting) • Overfitting – 特征维数高、训练样本少导致模型参数估计不准确 2 • 比如协方差矩阵需要样本数在d 以上 • 克服办法 – 特征降维：特征提取(变换) 、特征选择 – 参数共享/平滑 • 共享协方差矩阵Σ0 • Shrinkage (a.k.a. Regularized Dis