第二章统计学习理论与支持向量机算法.ppt

第二章 统计学习理论与支持向量机算法;1;统计学习理论讨论的是基于数据的机器学习问题;现有机器学习方法共同的重要理论基础之一是统计学;统计学习理论(Statistical Learning Theory 或SLT );统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。 在这一理论基础上发展了一种新的通用学习方法——支持向量机(Support Vector Machine或SVM )，它已初步表现出很多优于已有方法的性能。 ;2;经典的统计基础存在两个理论缺陷;针对这两个问题，统计学习理论从理论上系统地分析经验最小化原则成立的条件，建立了学习过程收敛速度的界，进而提出了小样本归纳推理原则，并给出控制学习过程的推广能力的方法。 到20世纪90年代，统计学习理论已基本成熟。1995年，Vapnik完成专著 《The Nature of Statistical Learning Theory》，这是统计学习理论走向成熟和得到正式承认的标志。 ;围绕学习问题的一般过程统计学习理论分成从理论向实践渐进的4个部分;控制学习过程泛化能力的理论 采用前两部分的结论改进学习过程，认为结构风险最小化原则，而不是最小化原则，可以使学习过程的经验风险与实际风险经验风险最终并且尽可能快地趋向一致。 构造学习算法的理论采用前三部分的结论 在分类和拟合问题中构造现实的学习算法。它遵循结构风险最小化原则从而较传统算法有更好的泛化能力。支持向量机SVM是基于该理论最早实现的，也是目前最有影响的分类回归算法之一。 ;学习过程的一致性及收敛速度;为了在未知的分布函数F(Z)下最小化（2-1）式的风险泛函，可以把风险泛函R(a)替换为经验风险泛函 （2.3） ;定义2.1 一致性：如果下面两个序列依概率收敛于同一个极限，即 （2.4） （2.5）;定理2.1 设函数集Q(z,a), a?L满足条件 A￡òQ(z,a)dF(z)￡B (A￡R(a)￡B) 那么ERM 原则一致性的充分必要条件是经验风险 Remp(a)在函数集Q(z,a),a?L上在如下意义下一致收敛于实际风险R(a)： ;定义2.2 随机变量序列 ， n=1,2,…, （2.7） ;学习理论的关键定理（定理2.1） ;定义 N^( z1,…, zn )代表用指示函数集Q(z,a), a?L中的函数能够把给定的样本分成多少种不同的分类。则称H^(z1,…, zn ) = ln N^(z1,…, zn )为随机熵,它描述了函数集在给定数据上的多样性。 考虑随机熵在联合分布函数F(z1,…, zn )上的期望；H^(n) =E ln N^(z1,…, zn )（其中E为数学期望）， 把这个量称作只是函数集Q(z,a), a?L在数量为n的样本上的熵，它依赖于函数集Q(z,a), a?L 、概率测度以及观测数目n，反映了给定指示函数集在数目为n的样本上期望的多样性。 ;在N^( z1,…, zn )值基础上构造两个新概念 ;在指示函数集Q(z,a), a?L可测性的一定条件下，一致双边收敛的充分条件是 （2.8）;等式 （2.9）;等式 （2.10）;函数集的VC维 ;定义2.3 指示函数集的VC维：一个指示函数集Q(z,a), a?L的VC维是能够被集合中的函数以所有可能的2h种方式分成两类的向量z1,…, zh的最大数目h。 VC维是统计学习理论中的一个核心概念，它是目前为止对函数集学习性能的最好描述指标。