中科院-国科大-黄庆明-模式识别与机器学习-期末考点-复习.pptxVIP

模式识别与机器学习;第一章概论

第二章统计判别

第三章判别函数

第四章特征选择和提取

第五章句法模式识别

第六章统计学习理论基础

第七章有监督学习基础算法

第八章支持向量机

第九章无监督学习与半监督学习

第十章图模型基础

第十一章集成学习

第十二章神经网络与深度学习

;掌握相关概念：模式、机器学习、基本组成

比如模式概念：

广义地说，存在于时间和空间中可观察物体，假如我们能够区分它们是否相同或是否相同，都能够称之为模式。

模式所指不是事物本身，而是从事物取得信息，所以，模式往往表现为含有时间和空间分布信息。

模式直观特征:

可观察性

可区分性

相同性

;;数据聚类

统计分类

结构模式识别

神经网络

监督学习

无监督学习

半监督学习

集成学习

增强学习

深度学习

;在贝叶斯分类器中，结构分类器需要知道类概率密度函数。

类概率密度是正态分布，均值向量和协方差矩阵

均值和协方差矩阵非随机参数预计

均值和协方差矩阵预计量定义

均值和协方差矩阵预计量迭代运算

均值向量和协方差矩阵贝叶斯学习

普通概念

单变量正态密度函数均值学习;贝叶斯判别别

贝叶斯最小风险判别：当考虑到对于某一类错误判决要比对另一类判决更为关键时，就需要把最小错误概率贝叶斯判别做一些修正，提出条件平均风险rj(x)

;线性判别函数

用判别函数分类概念

线性判别函数普通形式和分类问题

两类问题

多类情况：三类情况

广义线性判别函数

基本思想

广义线性判别函数意义

线性判别函数

判别函数选取二次多项式函数

判别函数选取r次多项式函数

分段线性判别函数

模式空间和权空间;Fisher线性判别

从d维空间到一维空间普通数学变换方法

Fisher准则函数定义

基于最正确变换向量投影

感知器算法

线性判别函数感知器赏罚训练算法

采取感知器算法多类模式分类

可训练确实定性分类器迭代算法

梯度法

固定增量逐次调整算法

最小平方误差算法;势函数法

判别函数产生

分析步骤

势函数选择

第一类势函数：对称有限多项式展开

第二类势函数：双变量对称函数

决议树介绍

概念

二??树;概念、意义

模式类别可分性测度：类内散度矩阵、类间散度矩阵

特征选择：定义可分性准则函数，如类内距离小，类距离大

特征提取：K-L变换（PCA)

思想：选取变换矩阵?，使得降维后新向量在最小均方差条件下靠近原来向量x

;离散K-L变换

将原来特征做正交变换，取得每个数据都是原来n个数据线性组合，然后从新数据中选出少数几个，使其尽可能多地反应各类模式之间差异，而这些特征间又尽可能相互独立，则比单纯选择方法更灵活、更有效。

K-L变换就是一个适合用于任意概率密度函数正交变换。

离散有限K-L展开

K-L展开式性质

K-L展开式系数计算步骤

按K-L展开式选择特征

三条结论

实例;不考;MachineLearning(概念、学习方法分类、历史)

StatisticalMachineLearning

普通框架、形式化：

产生式、判别式模型：前者先推断p(x,y),再利用贝叶斯求p(y|x);后者直接求解p(y|x)

过拟合和正则项（OverttingandRegularization）:

经验风险最小化（EmpiricalRiskMinimization）

结构风险最小化(StructuralRiskMinimization):所谓结构风险最小化就是在确保分类精度（经验风险）同时，降低学习机器VC维，能够使学习机器在整个样本集上期望风险得到控制。

;StatisticalMachineLearning

偏差方差分解（BiasandVarianceDecomposition）

Trade-off:

Agoodinsightintomodelcomplexityissue:

Veryflexiblemodelshavinglowbiasandhighvariance.

Relativelyrigidmodelshavinghighbiasandlowvariance.

Themodelwiththeoptimalpredictivecapacityistheonethatleadstothebestbalancebetweenbiasandvariance.

;回归方法（regressionmethod)

线性回归（LinearRegression）：

梯度下降求解：closedformsolution

随机梯度下降：StochasticGradientDescent

在高斯噪声情形下，最小化均方误差（LMS）和与最大化似然（MLE）得到解是一样。

RegularizedLM