ml-chap07.docVIP

　计算学习理论 本章理论地刻画了若干类型的机器学习问题中的困难，和若干类型的机器学习算法的能力。该理论致力于回答如下的问题：“在什么样的条件下成功的学习是可能的？”以及“在什么条件下一特定的学习算法可保证成功运行？”为了分析学习算法，这里考虑了两种框架。在可能近似正确（PAC）框架下，我们确定了若干假设类别，判断它们能否从多项式数量的训练样例中学习得到；我们还定义了一个对假设空间的自然度量，由它可以界定归纳学习所需的训练样例数目。在出错界限（Mistake bound）框架下，我们考查了一个学习器在确定正确假设前可能产生的训练错误数量。 介绍 在研究机器学习过程中，很自然地想知道学习器（机器的或非机器的）应遵循什么样的规则。是否可能独立于学习算法确定学习问题中固有的难度？能否知道为保证成功的学习有多少训练是必要的或充足的？如果学习器被允许向施教者提出查询，而不是观察训练集的随机样本，会对所需样例数目有怎样的影响？能否刻画出学习器在学到目标函数前会有多少次出错？能否刻画出一类学习问题中固有的计算复杂度？ 虽然对所有这些问题的一般回答还未知，但是不完整的学习计算理论已经开始出现。本章阐述了该理论中的一些关键结论，并提供了在特定问题下一些问题的答案。这里我们着重讨论只给定目标函数的训练样例和候选假设空间的条件下，对该未知的目标函数的归纳学习问题。在这样的框架下，主要要解决的问题如：需要多