计算学习理论.docxVIP

第7章计算学习理论 本章理论地刻画了若干类型的机器学习问题中的困难， 和若干类型的机器学习算法的能 力。该理论致力于回答如下的问题： “在什么样的条件下成功的学习是可能的？ ”以及“在 什么条件下一特定的学习算法可保证成功运行？ ” 为了分析学习算法，这里考虑了两种框架。 在可能近似正确(PAC)框架下，我们确定了若干假设类别，判断它们能否从多项式数量的 训练样例中学习得到； 我们还定义了一个对假设空间的自然度量， 由它可以界定归纳学习所 需的训练样例数目。在出错界限( Mistake bound )框架下，我们考查了一个学习器在确定正 确假设前可能产生的训练错误数量。 7.1介绍 在研究机器学习过程中， 很自然地想知道学习器 (机器的或非机器的) 应遵循什么样的 规则。是否可能独立于学习算法确定学习问题中固有的难度？能否知道为保证成功的学习有 多少训练是必要的或充足的？如果学习器被允许向施教者提出查询， 而不是观察训练集的随 机样本，会对所需样例数目有怎样的影响？能否刻画出学习器在学到目标函数前会有多少次 出错？能否刻画出一类学习问题中固有的计算复杂度？ 虽然对所有这些问题的一般回答还未知， 但是不完整的学习计算理论已经开始出现。 本 章阐述了该理论中的一些关键结论， 并提供了在特定问题下一些问题的答案。 这里我们着重 讨论只给定目标函数的训练样例和候选假设空间的条件下， 对该未知的目标函数的归纳学习 问题。在这样的框架下，主要要解决的问题如： 需要多少训练样例才足以成功地学习到目标 函数，以及学习器在达到目标前会有多少次出错。 如后面将看到，有可能对这些问题提出定 量的上下界，这基于学习问题的如下属性。 学习器所考虑的假设空间的大小和复杂度 目标概念须近似到怎样的精度 学习器输出成功的假设的可能性 训练样例提供给学习器的方式 本章的大部分将不会着重于单独的学习算法， 而是在较宽广的学习算法类别中刻画所考 虑的假设空间，以及训练样例的提供方式等。我们的目标是为了回答以下的问题： 样本复杂度(Sample complexity )。学习器要收敛到成功假设 (以较高的概率)， 需要多少训练样例？ 计算复杂度(Computational complexity)。学习器要收敛到成功假设(以较高的概 率)需要多大的计算量？ 出错界限(Mistake bound )。在成功收敛到一个假设前，学习器对训练样例的 误分类有多少次？ 注意为了解决这些问题需要许多特殊的条件设定。 例如，有许多方法来指定对于学习器 什么是“成功的”。一种可能的判断方法是：学习器是否输出等于目标概念的假设。另一种 方法是只要求输出的假设与目标概念在多数时间内意见一致， 或是学习器通常会输出这样的 假设。相似地，还必须指定学习器是如何获得训练样例的。 可以指定训练样例由一个施教者 给出，或由学习器自己实验来获得， 或按照某过程随机地生成而不受学习器的控制。 可以预 料，对上述问题的回答依赖于我们所考虑的特定框架或学习模型。 本章的后续如下安排。 7.2节介绍可能近似正确(PAC)学习框架。7.3节在此PAC框 架下分析了几种学习算法的样本复杂度和计算复杂度。 7.4节介绍了假设空间复杂度的一个 重要度量标准，称为 VC-维，并且将PAC分析扩展到假设空间无限的情况。 7.5节介绍了出 错界限模型，并提供了前面章节中几个学习算法出错数量的界限。 最后，介绍了加权多数算 法，它是一个结合多个学习算法来产生合并的预测的实用算法， 还介绍了该算法的理论出错 界限。 7.2可能学习近似正确假设 本节我们考虑学习问题的一种特殊框架，称为可能近似正确 (probably approximately correct, PAC)学习模型。首先我们指定 PAC学习模型适用的问题，然后分析在此 PAC模型 下学习不同类别的目标函数需要多少训练样例和多大的计算量。 为简明起见，这里的讨论将 限制在学习布尔值概念，且训练数据是无噪声的。然而，许多结论可扩展到更一般的情形， 如学习实值目标函数(比如 Natarajan 1991 ),或从某种类型的有噪声数据中进行学习(例 如，见 Laird 1988; Kearns Vazirani 1994 )。 问题框架 如前面的章节，令X代表所有实例的集合，目标函数在其上定义。例如， X可表示所有 人的集合，每个人描述为属性 age (young或old)和height (short或long)。令C代表学习 器要学习的目标概念集合。C中每个目标概念c对应于X的某个子集，或一个等效的布尔函 数c： Xr {0,1}。例如，C中一个目标函数 c为概念：“是滑雪者的人”。若x是c的正例， 则c(x)=1 ;若x为反例，贝U c(x)=0。 假定实例按照某