不确定空间上基于复样本的统计学习理论基础.pdfVIP

第 1 章 绪论 第 1 章 绪论 1.1 统计学习理论的诞生及研究现状 统计学习理论(Statistical Learning Theory, SLT)是 Vapnik 等[1-3]从上个世纪 60 年代就 开始研究有限样本下的统计学习问题，到 90 年代发展成为比较完善的理论。统计学习 [1] 理论主要包括四个部分 ：学习过程的一致性、学习过程收敛速度的非渐进理论、控制 学习过程的推广能力、构造学习算法。第一部分重点介绍了学习理论的关键定理；第二 部分重点介绍了基于退火熵函数、生长函数和 VC 维的学习过程收敛速度的界；第三部 分重点介绍了旨在针对经验风险和置信范围这两项最小化风险泛函的结构风险最小化 原则(Structural Risk Minimization, SRM)；第四部分重点介绍了具体实现统计学习理论的 VC 维理论和结构风险最小化原则的支持向量机[4] (Support Vector Machine, SVM) ，其中， 前三部分是 SLT 的基础理论，第四部分是基础理论的应用和算法理论。 支持向量机是一种通用的机器学习方法，通过将输入空间映射