SVM算法和统计学习理论.docxVIP

PAGE 4 一、统计学习理论 统计学习理论从控制学习机器复杂度的思想出发，提出了结构风险最小化原则，该原则使得学习机器在可容许的经验风险范围内，总是采用具有最低复杂度的函数集。与神经网络相反，统计学习理论是建立在坚实的数学基础之上的，具有完整和复杂的理论体系。目前统计学习理论在理论上已经比较成熟，但由于受到关注的实际比较短，因此在工程上的应用还比较少。统计学习理论为解决小样本学习问题提供了统一的框架，它的核心概念是VC维，用VC维莱描述学习机器的复杂度，并以此为出发点推导出了学习机器推广能力的界的理论。该来了致力于寻找在小样本情况下学习问题的最优解，而不需要利用样本数区域无穷大的渐进性条件。这使得统计学习理论在小样本情况下同样能得到具有推广价值的知识。 本节主要介绍统计学习理论的核心内容和部分重要的结论，便于读者了解统计学习理论的基本思想。 1、机器学习问题的描述 （1）学习机器模型 机器学习的目的是根据给定的训练样本获得对某系统输入/输出之间的依赖关系的估计，使它能够对未知输出做出尽可能准确的预测。 机器学习的基本结构如图1所示，系统就是要研究的对象，通过给定的输入得到系统的输出，并提供给学习机器用于训练，训练后的学习机器对系统新的输入给出预测输出。 图1 机器学习的基本结构 定义：机器学习问题可以形式化表示为：一直变量与输入之间存在一定的未知依赖关系，即存在一个未知的联