不确定统计学习理论基础与SVM的泛化能力研究.pdfVIP

第20卷(增刊) 模糊系统与数学 2006年0月 Volume andMathematics 2006 20(Supplement)FuzzySystems September 不确定统计学习理论基础及SVM的 泛化能力研究 哈明虎 王熙照 (河北大学数学与计算机学院，保定071002) 摘要：统计学习理论和支持向量机目前已是国际上机器学习领域中新的研究热点，但建 立在概率空问上基于随机样本的统计学习理论难以处理客观世界中大量存在的非概率空间上 或基于模糊、粗糙、模糊随机等不确定样本的学习问题．本文简要介绍建立在非概率空间上 的统计学习理论基础研究、基于不确定样本的统计学习理论基础研究以及SVM的泛化能力 研究方面我们所做的工作． 关键词： 统计学习理论；支持向量机；不确定样本；非概率空间 中图分类号：0189．1 文献标识码： A §1 引言 统计理论，着重研究在小样本情况下的机器学习统计规律，是传统统计学的重要发展 和补充，为研究有限样本情况下机器学习的理论和方法提供了理论框架，其核心思 想是通过控制学习机器的容量实现对泛化能力的控制．基于这一理论发展出的支持向 量机(SVM)方法是一种新的通用学习机器，较以往方法表现出许多理论和实践上 的优势． 统计学习理论所涉及的样本是随机样本．而在众多实际问题中均存在着客观的或 人为的其它不确定样本，这些不确定样本的表现形式是多种多样的，如模糊性、粗 糙性、模糊随机性以及其它的多重不确定性样本．这些不确定性样本必定带来大量的 基于不确定性样本的统计学习问题．然而，对于这些含有不确定性样本的学习问题， 现有的统计学习理论一般情况下是无能为力的．此外，统计学习理论是建立在概率空 间上的，它也难以处理可信性测度、可能性测度、Sugeno测度和拟概率空间上的学 习问题．因此，建立和完善统一的基于不确定空间和不确定性样本的统计学习理论不 但具有重要理论价值而且具有广阔的应用前景． 1收稿日期：2006-07-12． 目(No．2005001D) 模糊系统与数学 第20卷(增刊】 §2 主要工作 近几年来，我们在统计学习理论与支持向量机方面主要做了以下三方面的工作： 1不确定统计学习理论基础研究 不确定统计学习理论基础研究包括基于随机样本、模糊样本以及模糊随机样本等 不确定性样本的统计学习理论和基于非概率空间上的统计学习理论的基础研究，具 体内容如下： (1)进一步讨论了可信性测度、可能性测度及Sugeno测度等一些非可加测度 的性质，在这些非可加测度空间上给出相应的契比雪夫不等式和辛钦大数定律，并 给出了相应空间上的经验风险泛函和期望风险泛函以及经验风险最小化原则等一系 列新的概念，在此基础上，给出了这些空间上的统计学习理论的关键定理、学习过 程一致收敛速度的界以及在这些界的基础上建立随机样本归纳推理原则． (2)给出了带噪音样本的期望风险泛函、经验风险泛函以及经验风险最小化归 纳原则非平凡一致的定义，证明了基于带噪音样本的统计学习理论的关键定理，讨论 了基于带噪音样本的学习过程一致收敛速度的界． (3)给出了模糊数函数的若干定理以及模糊随机变量函数的定理，提出了模糊 风险泛函、模糊经验风险泛函以及模糊经验风险最小化(FERM)归纳原则等概念， 证明了模糊(模糊随机)样本统计学习理论的关键定理，给出了模糊(模糊随机) 学习过程一致收敛速度的界． 2SVM反问题及其实现 对于给定的一组没有决策属性的样本点，我们可以随机的把其分为两类．此时我 们可以利用SVM的知识来求出最优分类超平面，并计算山其margin．若划分为两类 机划分．SVM反问题就是如何对样本点进行划分，才能使最优分类超平面的margin 达到最大． 对SVM反问题的研究是源自于设计一种新的决策树生成算法．现有的很多决 策树算法如CA．5，往往得不到好的执行效果，由于支持向量机中最优分