拟概率空间上学习理论关键定理.docVIP

论文所述工作背景 本文得到国家自然科学基金（编号等项目资助。 Vapnik 等人早在20世纪60、70年代就开始致力于研究有限样本下的机器学习问题，直到90年代中期，有限样本情况下的机器学习理论研究逐渐成熟起来，形成一个较完善的理论体系——统计学习理论[1-3] （Statistical Learning Theory，简称SLT）。在此学习理论中第一次强调了所谓小样本统计学的问题，经过研究表明，对很多函数的估计问题，通过考虑样本的数量，可以得到比基于传统统计技术的方法更好的解。因此，这一新的理论框架中的小样本统计学无论是在SLT中，还是在理论和应用统计学中都形成了一个前沿的研究方向。它不仅为研究有限样本下的统计模式识别和更广泛的机器学习问题建立了一个较好的理论框架，同时也发展了一种新的通用模式识别方法——支持向量机（Support Vector Machine，简称 SVM），能够较好地解决小样本学习问题[10-17]。在近40年的时间里，国内外出现了大量的此方面的论文，如[1-17]，使得统计学习理论成为国际上机器学习领域新的研究热点。 学习理论的关键定理和学习过程收敛速度的界是统计学习理论的重要组成部分。学习过程收敛速度的界是分析学习机器性能和发展新的学习算法的重要基础通过对这些界的讨论，可以得到在ERM原则中经验风险与实际风险之间的关系，进而可以研究学习