对“学习算法的几乎处处稳定性与泛化能力”的理解与思考.docxVIP

对“学习算法的几乎处处稳定性与泛化能力”的理解与思考 该篇读书报告是针对Kutin和Niyogi的论文《Almost-everywhere algorithmic stability and generalization error》。为了更好的理解这篇论文，我还通过查阅相关资料了解了一些统计机器学习的相关概念。下面我将通过问答的方式，对我的论文阅读收获进行总结。 首先，为什么要提出学习算法稳定性的概念？ 长期以来，泛化性和泛化误差是通过学习机器（或者称训练模型）的复杂度来衡量，代表性的如由Vapnik和Chervonenkis所发展的统计机器学习理论。但是这种方法引入了VC维或VC熵的理论，在学习机器的复杂度越高的情况下，VC维的计算也就更加复杂，该方法的局限性也随之体现出来了。近年来，基于学习算法本身的研究方法被提出来，这种方法通过引入算法稳定性的概念来对学习算法的泛化界做定量的估计，而不会涉及学习机器本身的VC维或者VC熵。总结而言，经典的统计学习理论是从机器的角度研究学习问题的，即研究当机器满足什么条件时学习算法具有泛化性，而学习算法的稳定性理论是从算法自身的角度研究泛化性，这是一种全新的研究学习问题的途径。 其次，学习算法稳定性是如何应用到对算法泛化能力度量的？ 在回答这个问题之前，先介绍经典的统计机器学习方法如何度量算法的泛化能力。 回忆一个概念，一个学习算法称为具有泛