基于随机集样本的学习过程一致收敛速率的界.pdfVIP

第22卷增刊 模糊系统与数学 Vol_22．No．A andMathematics Sept．．2008 2008年9月 FuzzySystems 基于随机集样本的学习过程一致收敛速率的界+ 孙璐1，陈继强2，哈明虎1 (1．河北大学数学与计算机学院。河北保定071000； 2．河北工程大学理学院，河北邯郸056000) 摘要：学习过程一致收敛速率的界是基于随机样本的统计学习理论的重要理论基础。考虑到随机集的 客观存在性．在基舌随机样本的统计学习理论的基础上，络出了基于随机集样本的Hoeffding不等式。讨 论了随机集函数类有限情况下基于随机集样本的学习过程一致收敛速率的界． 关键词：随机集I经验风险最小化原则,Hoeffding不等式}一致收敛速率的界 中图分类号：0159；0234文献标识码：A 1 引言 统计学习理论(StatisticalLearning 始提出的处理小样本统计学习问题的理论；在20世纪60,．-,70年代形成了其基本思想和框架，到20世 纪90年代发展成为比较完善的理论，并受到了广泛的重视[3q]。其中学习过程一致收敛速率的界是统 计学习理论的重要组成部分，它是分析学习机器性能和发展新的学习算法的重要基础。通过对这些界的 讨论，可以得到在经验风险最小化(ERM)原则中经验风险与实际风险之间的关系，进而可以研究学习 机器的推广能力。然而统计学习理论是基于随机样本(随机变量)的，它难以处理基于随机集样本的学习 问题。 的一个重要推广，并且已经成功的运用到了数理经济‘”、随机优化理论[83等学科中。因此把基于随机样 本的统计学习理论推广为基于随机集样本的统计学习理论具有重要的理论意义和广阔的应用前 景[g-u]。一些学者已经注意到这些问题，并得到了一些有意义的工作。例如：哈明虎，陈继强和郑莉 芳[lz-13]首次讨论了基于随机集样本的统计学习理论，给出了基于随机集样本的关键定理。 本文给出了基于随机集的Hoeffding不等式，讨论了随机集函数类有限情况下基于随机集样本的 学习过程一致收敛速率的界。 2 预备知识 假定R”为埘维欧氏空间，0为非空集合，A为0的子集组成的盯代数，则(n，A)为一可测空间。 矿表示Rm中所有闭集，甄表示尺”中所有非空闭集。 ·收稿日期：2008—06—04 (2008000633)；河北省教育厅科研计划重点项同 作者简介，孙璐(1982·)．女．河北邯郸人。河北大学教学与计算机学院研究生．研究方向：不确定统计学习理论的研究． 增刊 孙璐，陈继强等：基于随机集样本的学习过程一致收敛速率的界 类，映射厂：力一罗。是闭集值映射若罗。是肜中所有非空闭集组成的集类；闭集值映射，是可测的若 {∞：厂(山)n F≠⑦}∈A 其中，F∈扩．可测的闭集值映射也称为随机集。 当且仅当 limP{x；t?(^(z)。，(z))≥e}=0，Ve≥0 成立． 本文用到的其它定义和概念与文献EIz3[13]一致。 3一致收敛速率的界 基于随机集的学习过程的收敛速度的界，我们主要讨论了下面两个问题： ②对于给定随机集函数类Q(z，口)，口∈A而言，所能达到的风险值R(ak《f))与最小可能风险值 R(ct,(o))之间的差。 本文中的模型是：紧凸随机集类Q(z，口)，口∈A包含有限的Ⅳ个元素Q(z，％)，五=1，2，…，Ⅳ的情 况。我们首先讨论基于随机集的Hoeffding不等式。为了方便起见，我们下面将仅在一维欧氏空间中进 行讨论，在m一维欧氏空间中类似结论仍然成立。 m B2M一--max{(A2--A1)2，(B2 texp卜芬}o 下面讨论学习过程一致收敛速率的界以及界与集合容量之间的关系。 定理3．2设Q(z，口I)(忌=1，2，…，Ⅳ)是紧凸随机集类．则不等式