模式识别第5章SVM.pptVIP

支持向量机计算示意图 * X1 X2 Xd K(X1,X) K(X2,X) K(XS,X) ….. ….. a1y1 a2y2 asys y 输出（决策规则）： 权值： 基于支持向量X1,X2,…,Xs的非线性变换) 输入向量： X=[X1,X2,…，Xd]T * * 4、函数集学习一致收敛的充要条件： 对任意样本分布，有 此时，学习过程收敛速度一定是快的。 这里，n 表示样本数，G(n) 称为函数集的生长函数。 5、经验风险最小化过程一致收敛的充要条件： VC维有限 此时，学习过程收敛速度一定是快的。 前节讨论的一致收敛速度及条件只有理论意义，实际中无法应用。 根据统计学习理论中关于函数集的推广性的界的有关结论，在VC维有限时， R(ω)≤Remp(ω)+ Φ(n/h) n：为样本数； h：为机器学习的VC维。 Φ(n/h) : 称置信范围或VC信任, 是随n/h增大而减小的函数 上式给出了经验风险与真实（期望）风险之间的差距的上界，反映了根据经验风险得到的学习机器的推广能力，称为“推广性的界” 5.2.2 推广性的界 * R(ω)≤Remp(ω)+ Φ(n/h) Φ(n/h) : 随n/h增大而减小 n/h越小， Φ(n/h)越大。即：经验风险近似期望风险的误差越大，经验风险最小化得到的解可能具有较差的推广。 n/h较大，经验风险最小化得到的解接近实际的最优解。 对于特定的问题，n 一般固定。因此，VC维h越大，真实风险与期望风险的误差越大。因此，设计分类器时，不仅要考虑使经验风险最小，而且，要考虑机器的复杂性，使VC维尽量小。这样，期望风险才会小。 最优的学习机器：应使得 经验风险Remp(ω)和 置信范围Φ(n/h)同时达到最小。 * VC维与推广性的界的讨论 函数集的VC维不一定等于自由参数的个数。 尚无一般方法对任意函数集计算VC维 推广性的界是对最坏情况下的结论，所给出的界往往是松的，尤其VC维较大时。 VC维无穷大时，这个界不成立。 近邻法：VC维无穷大，但推广性较好。因为近邻法没有采用经验最小化原则。 这种界只对同一类学习函数进行比较时有效。可指导我们寻找最优函数。 * 5.3 结构风险最小化 设计学习机器的目标：同时最小化经验风险和置信范围。 置信范围最小化：通过选择学习模型和算法来实现。 一般做法：先选择模型（如线性分类器），则VC确定了，置信范围Φ 也就固定了，然后经验风险最小化确定学习机器。 由于缺乏对Φ的认识，模型选择往往依赖先验知识和经验 模式识别问题：样本数有限时，线性分类器效果往往较好，原因是其VC维小，有利于在样本数少时得到较小的置信范围。 如何同时最小化？ 采用结构风险最小化原则（Structural Risk Mininization----SRM） * 1、结构风险最小化原则（SRM） 将函数集 {f(x,ω), ω ∈Ω }划分成嵌套的子集结构: S1 ?S2 ? … ? Sk … (各子集按照VC维的大小排列： h1≤ h2 ≤… ≤hk …， 同一个子集中的置信范围) 在子集中根据经验风险最小选择最好的函数。 选择最小经验风险与置信范围之和最小的子集。这个子集中使经验风险最小的函数即是最优函数。 欠学习 过学习 真实风险的界 置信范围 经验风险 S 1 S2 S3 风 险 h 函数集子集： S1 ? S2 ? S3 ； VC维：h1h2h3 有序风险最小化示意图 * 2、允许子集结构的条件 一个合理的函数子集结构应满足两个基本条件： VC维的条件： 各子集的VC维有限且满足： h1≤ h2 ≤… ≤hk … 损失函数的条件：每个子集中的函数对应的损失函数有界非负, 或对一定的参数（p,τk）满足： * 3、结构风险最小化原则下分类器设计 选择一个合适的函数子集 即：模型选择。模型的选择是通过对其推广性的界（置信范围）的估计进行的。 从这个子集中选择一个判别函数。即确定函数的参数，或模型的参数 * 5.4 支持向量机--SVM Vapnik等人在多年研究统计学习理论基础上