统计学习理论笔记.pdf

统计学习理论 统计学习理论是一种机器学习的方法， 也就是为机器学习服务的， 首先我们 有个一学习机器 LM 。 学习机器学习的对象是什么，我们称这个对象叫做训练器 ，学习机器又是 如何学习的，是通过观测训练集，产生器 根据分布函数 随机独立产生输入 数据 ，通过训练器 中算子训练之后，产生样本 、 我们称 依据联合分布函数 随机产出的数据集 叫做训练集，而学习 机器则是学习训练器 的这个训练过程或是学习出这个目标算子。 学习机器有两个追求的目标： 1.模仿训练器的算子： 对训练器输出提供最佳 的预测结果； 2. 辨识训练器的算子：试图构造一个非常接近于训练算子的算子。 模仿更加简单易于解决， 而我们的目标是构造一个算子， 从形式上看， 他的意义 是学习机器可以通过构造一个机器来实现某一固定函数集， 在学习过程中， 它从 函数集中选取一个适当的函数。 那么如何选取到适合的函数， 我们必须找到一个规则目标， 也就是一个品质 标准，我们用它来评价学习的优劣。 问题便转到了在函数集中找到一个以最佳可 能方式满足给定的品质准则的函数。我们定义一个损失函数： 来度量学习机器的输出与训练器的输出之间的偏差， 我们希望对于所有的产生器 产生的样本， 学习机器的响应和训练器的响应都是一致的， 为此我们定义一个泛 函： 并将泛函定义为数学期望， 这一泛函称为风险泛函或风险， 其最小值对应于最好 的品质标准。 所以问题转到如何最小化泛函 的问题， 由于分布 未知，我们无法直 接进行最小化，在模式识别问题上，我们知道损失函数是 0 ，1 函数，即是两点 分部，损失等于概率 ，由此我们想到大数定理，在样本数大的情况下，频率是 逼近于概率的， 依此我们想到用经验数据的损失均值来代替泛函的期望， 我们定 义经验风险： 假设风险泛函的最小值在 上取得，经验风险泛函的最小值在 上取得，我们将 作为 的一个近似。解风险最小化问题的这一原则 称为经验风险最小化（归纳）原则。 为此我们需要研究经验风险最小化原则的一致性条件， 我们给出一个经典定 义，对于函数集 和概率分布函数 ，如果下面两个序列依概率收 敛于同一极限： 则我们称经验风险最小化原则是一致的。 然而经典定义中会出现一致性的平凡情况， 也就是这个一致性特性是由函数 集中个别元素的性质所得到的， 我们为了建立经验风险最小化方法的、 不依赖函 数集元素的性质而仅仅依赖函数集的一般性质的一致性理论， 我们调整之后定义 了严格一致性定义。如果任何非空子集 使得收敛性 则，称经验风险最小化方法是严格（非平凡）一致的。 对于经验风险最小化方法的严格一致性， 它的充分必要条件是在给定的函数 集上单边一致收敛性成立： 推广到双边一致收敛： 双边一致收敛单边一致必然收敛，即双