11 第十一章 支持向量机.pdf

第十一章 支持向量机 � 事实上，学习过程中用 ERM准则代替期望风险最小化这一学 习目的没有充分的理论依据，仅是直观上合理的想当然做法。 � 基于数据的机器学习是现代智能技术中的重要方面。 神经网络的过学习问题，就充分说明了这一现象：训练误差 目前，机器学习没有一种被共同接受的理论框架， 小并不总能导致好的预测结果，有些情况下，误差小反而导 实现方法可分为： 致网络泛化能力下降。 � 研究表明：用十分复杂的模型去拟合有限的样本，会导致学 � 经典的（参数）统计估计方法； 习机器在泛化能力上的损失。如何设计一个好的分类器，使 � 经验非线性方法。 其具有很好的泛化能力，将是支持向量机研究的范畴。 经验风险 � 统计学习理论(statistical learning Theory, SLT) 经验风险 � 传统学习方法，学习的目标是使经经验验风风险险 最 R R RR emp emp eemmpp 小，即采用所谓的经验风险最小化(empirical risk � 针对小样本情况下机器学习规律的理论 minimization, ERM) 原则 � 统计学习理论的核心概念就是 VC维概念，描述函数 n 或学习机器的复杂性或者学习能力的一个重要指标 min R (w) = 1 L(y , f( X , W)) emp n ∑ i i � 一致性 i=1 � 推广性能 1 2 较小 较小 � 上式中置信范围 Φ 随 增加，单调下降。即当 n/h较较小小时，