拟概率空间上学习理论及关键定理.docVIP

论文所述工作背景 本文得到国家自然科学基金（编号等项目资助。 Vapnik 等人早在20世纪60、70年代就开始致力于研究有限样本下的机器学习问题，直到90年代中期，有限样本情况下的机器学习理论研究逐渐成熟起来，形成一个较完善的理论体系——统计学习理论[1-3] （Statistical Learning Theory，简称SLT）。在此学习理论中第一次强调了所谓小样本统计学的问题，经过研究表明，对很多函数的估计问题，通过考虑样本的数量，可以得到比基于传统统计技术的方法更好的解。因此，这一新的理论框架中的小样本统计学无论是在SLT中，还是在理论和应用统计学中都形成了一个前沿的研究方向。它不仅为研究有限样本下的统计模式识别和更广泛的机器学习问题建立了一个较好的理论框架，同时也发展了一种新的通用模式识别方法——支持向量机（Support Vector Machine，简称 SVM），能够较好地解决小样本学习问题[10-17]。在近40年的时间里，国内外出现了大量的此方面的论文，如[1-17]，使得统计学习理论成为国际上机器学习领域新的研究热点。 学习理论的关键定理和学习过程收敛速度的界是统计学习理论的重要组成部分。学习过程收敛速度的界是分析学习机器性能和发展新的学习算法的重要基础通过对这些界的讨论，可以得到在ERM原则中经验风险与实际风险之间的关系，进而可以研究学习机器的推广能力学习理论的关键定理和学习过程收敛速度的界等概率空间上的性质得到的，这使得学习理论的关键定理和学习过程收敛速度的界但它仍有一些不完善之处，如概率空间的学习理论。众所周知，概率的可加性条件非常强* 哈明虎1, 冯志芳2, 宋士吉3, 高林庆1, 1、河北大学数学与计算机学院，保定 071002，中国； 2、廊坊师范学院数学与信息科学系，廊坊065000 中国； 3、清华大学自动化系，北京 100084，中国 摘要 进一步讨论了拟概率的一些性质，给出了拟概率空间上的拟随机变量及其分布函数、期望和方差的概念及若干性质；证明了拟概率空间上的Markov不等式、Chebyshev不等式和Khinchine大数定律；给出并证明了拟概率空间上学习理论的关键定理和学习过程一致收敛速度的界，把概率空间上的学习理论的关键定理和学习过程一致收敛速度的界推广到了拟概率空间，为系统地建立拟概率上的统计学习理论与构建支持向量机奠定了理论基础。 关键词 拟概率 期望风险泛函 经验风险泛函 关键定理 一致收敛速度的界 The key theorem and the bounds on the rate of uniform convergence of statistical learning theory on quasi-probability spaces HA Minghu 1, FENG Zhifang 2, SONG Shiji 3, GAO Linqing1 1. College of Mathematics and Computer Sciences, Hebei University, Baoding 071002, China; 2. Department of Mathematics and Information Sciences, Langfang Normal School, Langfang 065000, China. 3. Department of Automation, Tsinghua University, Beijing 100084, China Abstract Some properties of quasi-probability is further discussed. The definitions and properties of quasi-random variable and its distribution function, expected value and variance are then presented. Markov inequality, Chebyshev’s inequality and the Khinchine’s law of large numbers on quasi-probability spaces are also proved. Then the key theorem of learning theory on quasi-probability spaces is proved, and the bounds on the rate of uniform convergence of learning process on quasi-pr