大数据挖掘与应用-第8章 支持向量机.pptxVIP

第8章 支持向量机 ; 在统计学习理论基础之上发展起来的支持向量机（Support Vector Machine,SVM）算法,是一种专门研究有限样本预测的学习方法。与传统统计学相比,SVM算法没有以传统的经验风险最小化原则作为基础,而是建立在结构风险最小化原理基础之上,发展成为一种新型的结构化学习方法。统计学习理论是支持向量机理论发展的基础,为了进一步深入研究SVM,需要对统计学习的核心理论进行深入理解。;8.1.2统计学习核心理论;因此,我们需要一种新的学习原则来代替传统的经验风险最小化原则,它能够指导我们在有限样本或小样本情况下获得具有优异泛化能力的学习机器。结构风险最小归纳原理的出现一举解决了这个难题,它包括了学习的一致性、边界的理论和结构风险最小化原理等部分，它所提出的结构风险最小化归纳学习过程克服了经验风险最小化的缺点,获得了更好的学习效果。;8.1.3学习过程的一致性条件;8.1.4函数集的VC维;;我们不难看出,VC维实质上反映了函数集的学习能力。一般而言,VC维越大,则学习机器越复杂,学习容量也就越大。令人遗憾的是,目前尚没有通用的关于如何计算任意函数集的VC维的方法,只有一些特殊的函数集的VC维可以准确地知道。例如,n维空间中的任意线性函数集的VC维是n+l。而对于一些比较复杂的学习机器(如神经网络),其VC维除了与函数集选择有关外,通常也受学习算法等因素的影