学习算法的稳定性与泛化Ⅱ)有界差分稳定框架.pdfVIP

高校应用数学学报 2011, 26(1): 1-11 学习算法的稳定性与泛化 Ⅱ 有界差分稳定 框架 曾锦山 张 海 徐宗本 (1. 西安交通大学信息与系统科学研究所, 陕西西安710049; 2. 西北大学数学系, 陕西西安710069) 摘 要: 根据有界差分条件, 提出了学习算法的有界差分稳定框架. 依据新框架, 研究 了机器学习阈值选择算法, 再生核Hilbert 空间中的正则化学习算法, Ranking学习算法 和Bagging算法, 证明了对应学习算法的有界差分稳定性. 所获结果断言了这些算法均 具有有界差分稳定性, 从而为这些算法的应用奠定了理论基础. 关键词: 学习理论; 稳定性; 泛化性; 有界差分稳定 中图分类号: O236 文献标识码: A 文章编号: 1000-4424(2011)01-0001-11 § 引 言 学习理论研究如何从数据(样本)中抽取规律, 并利用这些规律对新数据的属性进行预测. 从 数据中抽取规则的过程称为学习, 实现这种学习的策略称为学习算法. 在学习理论中, 通常将学 习结果应用于对新数据的预测能力作为评价一个学习算法优劣的主要标准. 学习算法的预测能 力也常称之为泛化能力. 因此, 学习理论的一个中心问题是: 研究在何种条件下, 一个学习算法 具有泛化性, 或者在更严格的定量意义下, 一个学习算法的泛化性有多强(即误差有多大). 长期以来, 学习算法的泛化性与泛化误差的研究是通过学习机器的复杂度来度量 的. 代表性的理论框架例如有Vapnik和Chervonenkis等所发展的统计学习理论 , 以及 由Cuker和Smale等提出的基于学习机器覆盖数的学习理论 . Vapnik的统计学习理论建 立了基于机器复杂性(VC维)的估计理论, 主要用于研究机器学习的弱收敛及泛化性. 例如他证 明: 一个机器学习算法弱收敛且泛化的充要条件是相应机器具有有限VC维. 但是, 我们必须注 意到, Vapnik的统计学习框架只考虑机器属性对于学习算法收敛性及泛化性的影响, 而且所获得 的泛化界估计太“一致”化, 即必须对机器中的所有函数成立, 是最坏性形估计, 因而抹杀了不同 学习算法的差异性. Smale等 所提出的基于覆盖数的估计理论, 主要研究机器学习的强收敛 收稿日期 修回日期 基金项目 国家重点基础研究计划 国家自然科学基金 陕西省教育厅科研计 划 2 高校应用数学学报 第26卷第1期 性问题, 其框架仍是局限于一致化泛化性估计. 虽然Vapnik运用VC维, Smale使用覆盖数作为学 习机器复杂度的度量, 成功地获得了学习算法收敛性与泛化性的许多重要结论, 但因所使用的这 些度量都难以计算而限制了相应估计的深刻应用. 近年来, 一种新的研究机器学习的方法通过构建算法稳定性框架, 引起人们广泛的 兴趣 , 这一新方法从算法自身的稳健性(而不是通过机器)出发研究学习问题. Devroye, Rogers和Wagner首先注意到这一估计中样本有小的改变时算法的稳定性性质, 并将算法稳定 性作为研究 K-近邻算法泛化性的一个工具(此时由于机器的VC维无限, 传统的研究方法失效). Kearns和Ron 引进误差稳定,