模式识别课程讲义（李君宝）12. 统计学习理论-4学时.pptVIP

此处最好加上若干张图片 此处应为一个图，表示典型的学习图像特征提取与分类算法的基本思路； 利用不同的目标函数，求出W 使得提取的特征具有良好的区分度 还要强调一点 提取特征的主要技术指标为 特征的区分度 此处用图来显示 * * * * * * * * * * * * * * * * * * 【核主成分分析】 * 【核主成分分析】 * 【核主成分分析】 * 【核主成分分析】 * 【核主成分分析】 * 【核Fisher鉴别分析】 * 【核Fisher鉴别分析】 * 【核Fisher鉴别分析】 * 【核Fisher鉴别分析】 * 【核Fisher鉴别分析】 * 【核Fisher鉴别分析】 * 【核Fisher鉴别分析】 * 【核Fisher鉴别分析】 * 【核方法在人脸识别中的应用】 * 【核方法在人脸识别中的应用】 * 【核方法在人脸识别中的应用】 * 【核方法在人脸识别中的应用】 * 本章结束 似然函数可以看作y=1,f(x,w)=p(x,w), L(1,f(x,w))=ln(1/p(x,w))=-lnp(x,w) 需要介绍一下Stieltjes积分 例如一致估计 这是造成统计模型推广能力差的根本原因。 用{sin(wx)}来学习 VC维有多种定义，这里给出的是直观定义。这里样本集中的样本处于“一般位置”，不共线或共面。 这里不能一味的追求小的VC维，因为小的VC维往往使得经验风险较大，必须综合考虑。 看第5章的第38页，SVM的准则函数。同时注意线性函数的VC维与样本空间的维数d无关，这就为核函数的使用打下了基础。 以MLP为例说明，包括隐层元的个数，以及训练的回合数。验证技术也不能保证对测试样本风险最小。 优化参数时此技术也称为“提前停止”，也适用于GMM和HMM的训练过程。 So, if change internal points, no effect on the decision boundary Note also, everything is done by inner-products * 【核函数】 * f(x) = a,y g(x)=f(y)=aTy 在任意维度的空间中，这种形式的函数都是一个线性函数，因为自变量y的次数不大于1。 【核函数】 * 原来在二维空间中一个线性不可分的问题，映射到三维空间后，变成了线性可分的; 解决线性不可分问题的基本思路——向高维空间转化，使其变得线性可分; 如果有这样的函数，那么当给了一个低维空间的输入x以后 如果这两个函数的计算结果完全一样，我们就直接拿低维的输入直接计算g(x), 不需要构造 ； K(x,xi)确实存在，它被称作核函数，而且还不止一个； 只要是满足了Mercer条件的函数，都可以作为核函数； 核函数的基本作用就是接受两个低维空间里的向量，能够计算出经过某个变换后在高维空间里的向量内积值。 【核函数】 * 这就是说，尽管给的问题是线性不可分的，但是我们就硬当它是线性问题来求解，只不过在求解过程中，凡是要求内积的时候就用你选定的核函数来算。 这样求出来的α再和选定的核函数组合，就得到分类器. 【核函数】 * 设 是 中的一个子集。称定义在 上的函数 是核函数(正定核或核)，如果存在着从 到某一个 空间 的映射 使得 其中 表示 空间中的内积。 【核函数】 * 【Mercer条件】 SLT指出,根据Hibert-Schmidt原理,只要一种运算满足Mercer条件,就可以作为内积使用。 * ◆ 高维空间只涉及内积运算，故只需知道非线性映射的内积运算 即可，只要变换空间中的内积能用原空间的变量直接计算 ◆ 只要定义变换后的内积运算，而不必真的进行变换 ◆ 根据泛函理论，若核函数 满足Mercer条件，即 可对应某个变换空间中的内积。 ◆ 改写 为 ◆ 识别函数为 此即为支持向量机 【SVM】 * 【SVM示意图】 支持向量网络 * 若一组训练样本能被一个（广义）最优识别界面分开，则对测试样本识别错误率期望值的上界为训练样本中平均的支持向量占总训练样本数的比例，即 ◆ 支持向量机的推广性与变换空间的维数无关，只要适当选择 一种内积定义，构造支持向量数相对较少的界面，即可希望 有较小的错误识别率。 【SVM的推广性和变换空间的维数“无关”】 * ◆ 多项式形式 ◆ 高斯径向基函数 ◆ 指数径向基函数 ◆ 双曲正切S型函数 ◆ 线性核函数 有实验表明（边书P303表13-2），支持向量机对不同方