第六章统计学习理论.pdf

第六章统计学习理论 6.0 引言 6.1 一致性与一致收敛 6.2 Vapnik-Chervonenkis (VC)理论 6.3 结构风险最小化(Structural Risk Minimization) 6.0 引言 统计学习理论的发展简况 学习过程的数学研究 F. Rosenblatt于1958,1962年把感知器作为一个学习机器模型 统计学习理论的开始 Novikoff(1962)证明了关于感知器的第一个定理 解决不适定问题的正则化原则的发现 Tikhonov(1963), Ivanov(1962), Phillips(1962) Vanik和Chervonenkis(1968)提出了VC熵和VC维的概念 提出了统计学习理论的核心概念 得到了关于收敛速度的非渐进界的主要结论 统计学习理论的发展简况(续) ♦Vapnik和Chervonenkis(1974)提出了结构风险最小 化（SRM ）归纳原则。 ♦Vapnik和Chervonenkis(1989)发现了经验风险最小 化归纳原则和最大似然方法一致性的充分必要条 件,完成了对经验风险最小化归纳推理的分析。 ♦90年代中期,有限样本情况下的机器学习理论研究 逐渐成熟起来,形成了较完善的理论体系—统计学 习理论(Statistical Learning Theory,简称SLT) 6.0 引言 模式识别中的学习问题： 训练数据集( X, Y ) (x , y ), (x , y ), L, (x , y ), 1 1 2 2 n n d y ∈{1,2, L,K } xi ∈ℜ , i X x 的类别标识， 随机变量 的独 i Y 立同分布样本。 随机变量 的独 立同分布样本。 6.0 引言 学习函数集： 参数 参数空间 {f (x ,θ) :θ ∈Θ} 损失函数： L (y , f (x ,θ)). 学习问题的表示 X G S y LM y 学习问题的表示 产生器(G) ，产生随机向量x属于Rn ,它们是从固定但 未知的概率分布函数F(x) 中独立抽取的。 训练器(S) ，对每个输入向量x返回一个输出值y ，产 生输出的根据是同样固定但未知的条件分布函数 F(y |x) 。 (f ,x ) θ 学习机器(LM) ，它能够实现一定的函数集