統计学习理论的原理与应用.docVIP

统计学习理论的原理与应用 叶晨洲 ，杨杰，姚莉秀，陈念贻 (上海交通大学图象处理及模式识别研究所，上海，200030) 摘要:经验风险与实际风险间的不一致是一个长期困扰机器学习(各种分类或拟合问题)的难题。统计学习理论提供了对这一问题的部分解决方法。本文从理论及现实两方面介绍经验风险与实际风险间的不一致现象，定义了算法的泛化能力，简单介绍了统计学习理论各组成部分的主要结论，并总结了这一理论的应用方向和存在的问题。 关键词：统计学习理论 机器学习 泛化能力 分类号：TP 18 Outline and Application of Statistical Learning Theory Ye Chenzhou , Yang Jie ,Yao Lixiu, Chen Nianyi (Institute of Image Processing and Pattern Recognition, Shanghai JiaoTong University, Shanghai, China,200030) Abstract: The discrepancy between the empirical risk and the true risk is a long-term trouble puzzling the researchers in the field of machine learning. The statistical learning theory (SLT) tries to solve this problem both in theory and in practice. Started with instances displaying such kind of discrepancy, this paper defined the concept of generalization and described the framework and the main results of SLT in brief. The directions and problems existing in the application of SLT were also summarized. Keywords: Statistical Learning Theory, Machine Learning, Generalization 1 机器学习 我们将分类算法或拟合算法(例如，人工神经元网络，决策树，线性回归算法)统称为机器学习算法。可以采用图1所示的模型描述它们的学习过程(或训练过程)（1）。给定机器学习算法A以及相应的控制数，A可以通过修改可调参数构造出不同的分类函数(对于分类问题)或拟合函数(对于拟合问题)：，它们组成一个有限或无限的集合，称它为A的假设函数集合。对于特定的一个训练样本序列，算法A从中给出一个它“认为”与该序列最“匹配”的分类函数或拟合函数，作为它向该训练样本序列学习后获得的结果。以人工神经网络中的多层感知器网络(MLP)为例，设定它的隐层数、每个隐层的隐节点数、每个节点的作用函数等控制参数，那么MLP可以通过修改各节点间的连接权重构造出无穷多种用于分类或拟合的函数。对于特定的一个训练样本序列，MLP按照最小化平方误差和的原则从这些“候选”的分类或拟合函数中选择一个“最佳”函数作为此次训练的结果。(“匹配”与“最佳”的程度与不同的评价准则有关，在MLP中“最佳”可能只是在局部上成立，而MLP训练过程中究竟哪些是“候选”的分类或拟合函数至今仍无确定说法) 控制参数 图1.机器学习的模型 Figure 1. Model of machine learning 1.1经验风险与实际风险的不一致 对于分类问题，训练样本集由n个样本(i=1,2,…, n)组成，其中，，采用对分类算法进行训练，获得分类方程，定义其上的0-1损失函数为： (1) 类似地，对于拟合问题，训练样本集由n个样本(i=1,2,…, n)组成，其中，，采用对拟合算法进行训练，获得拟合方程，定义其上的平方损失函数为： (2) 定义1：无论是分类还是拟合，算法在上的经验风险(训练错误率或训练偏差)可表示为[4]： (3) 定义2：算法在上的实际风险(实际错误率或实际偏差)为： (4) 其中是的概率分布函数，对于分类问题，对于拟合问题。 人们通常认为随着训练样本数的增加，算法的经验风险不断地接近于它的实际风险，即： (5) 但是以下的极端例子显然反驳了这一观