核方法-核方法的稳定性分析.pdfVIP

核方法（3 ）-核方法的稳定性分析 Y.Q. Wang 2016 年2 月28 日 1 摘要 本章将重点分析核方法的稳定性：如何分析模型的抗噪性，以及抵抗训练数据的噪音使得模型 不会出现过拟合现象。“集中度” 是分析具体函数的抗噪性的评价方法。通过对某一随机变量做随 机扰动，观察具体函数的误差上界。McDiarmid 不等式是集中度评价的常用方法。本章会详细介 绍McDiarmid 不等式，并提供对应的证明方法以便理解。推论Hoeffding 不等式是Mcdiarmid 不 等式的简化分析分析方法。通过采用核方法的质心估计这一应用问题，希望能够较为形象地帮助理 解集中度分析的作用。进一步的，知道一类函数对应用问题的capacity （即抗噪性，函数对测试集 的鲁棒性）也是一个关键问题。在传统的机器学习中，利用VC 维分析是计算 capacity 的一种常 见方法。本章介绍Rademacher 复杂度，并用Rademacher 复杂度来评价一类函数的capacity 。利 用 Rademacher 复杂度，可以直接从给定的训练集上计算函数的capacity 。接着以分类问题为例， 考虑 kernel-based linear function 作为分类函数，具体分析这类函数的Rademacher 复杂度。根据 计算结果，提高函数的capacity 可以通过两类基本途径：正则化或增加训练样本数量。训练样本通 ′ 常不能掌控，因此正则化是一种更为有效的途径。在核方法中，正则化一般指限制 的规模， 对其引入范数进行约束。对具体的问题，核方法的稳定性分析会视其场景变化而稍有不同（未来就 具体问题逐个分析）。最后本章介绍了Rademacher 复杂度的7 个基本性质，以便扩展到具体应用 问题中去。另外，掌握核方法的稳定性分析并不是应用核方法的必要环节，如无特殊需求，只需记 住其中的若干结论即可:-)。 2 集中度不等式（Concentration inequality） 在机器学习中，确定任一通过有限的训练集所获得的固定函数是否是稳定的，一个关键的 方法就是对数据做变换（与由变换前的数据同源）使用同一函数，判断函数输出的前后差异。 Concentration （集中度）是这类评价方法的一个重要属性：对某一随机变量做变换，考察函数的前 后差异。在集中度测试中，我们需要对选定的随机变量做一个非常小的扰动（通常可以是一个服从 1 指数族分布的扰动），并认为这种扰动所带来的数据变换能够保证新数据依旧与原数据是同源的。 集中度测试结果所满足的不等式情况称之为concentration inequation 。 下面就集中度评价中最为出名的McDiarmid inequality 做展开说明： [McDiarmid’s inequality] 令 为从集合 中取值的 个独立的随机变量。假设函数 满足 sup (1) 则对所有的ϵ 都有 ( ϵ ) ∑ ϵ exp (2) 证明：证明该不等式需要掌握以下几点内容。 [Markov’s inequality] 对任一非负随机变量 ，