第7章-计算学习理论2.pptx

第7章计算学习理论

概述从理论上若干类型的机器学习问题中的困难和若干类型的机器学习算法的能力该理论主要解决了：在什么条件下可能进行成功的学习在什么条件下某个特定的学习算法可保证成功运行我们考虑使用两种框架分析学习算法可能近似正确（PAC）框架，确定若干假设类别，判断能否从多项式数量的训练样例中学习得到。还定义了一个对假设空间的自然度量，由其可界定归纳学习所需的训练样例数目。出错界限框架：考查学习器在确定正确假设前可能产生的训练错误数量

简介学习器理论问题：是否可能独立于学习算法确定学习问题中的固有难度能否知道为保证成功的学习有多少训练是必要的或者充足的如果学习器被允许向施教者提出查询，而不是观察训练集的随机样本，会对所需样例数目有怎样的影像能否刻画出学习器在学到目标函数前会有多少次出错？能否刻画出一类学习问题中固有的计算复杂度

简介没有对这些问题的一般回答，但有不完整的学习计算理论，并提供了在特定问题下一些问题的答案。着重讨论只给定目标函数的训练样例和候选假设空间条件下，对该未知函数的归纳学习问题。主要解决的问题：需要多少训练样例才足以成功地学习到目标函数学习器在达到目标前会出多少次错

简介基于学习问题的如下属性，提出以上问题的定量上下界：学习器所考虑的假设空间的大小和复杂度目标概念须近似到怎样的精度学习器输出成功假设的可能性如何将训练样例提供给学习器

简介本章主要重点不在单独的学习算法而是在较广泛的学习算法类别中刻画所考虑的假设空间以及训练样例的提供方式目标是回答以下问题：样本复杂度（SampleComplexity）：学习器要收敛到成功假设（以较高的概率），需要多少训练样例计算复杂度（ComputationalComplexity）：学习器要收敛到成功假设（以较高的概率），需要多大的计算量出错界限（Mistakebound）：在成功收敛到一个假设前，学习器对训练样例的错误分类有多少次

简介为了这些问题需要许多特殊的条件设定：成功学习器的设定学习器是否输出等于目标概念的假设只要求输出的假设与目标概念在多数时间内意见一致，或是学习器通常输出这样的假设学习器如何获得训练样例由一个施教者给出由学习器自己实验获得按照某过程随机生成

本章内容7.2：介绍可能近似正确（PAC）学习框架7.3：在PAC框架下，分析几种学习算法的样本复杂度和计算复杂度7.4：介绍假设空间复杂度的一个重要度量标准，称为VC维，并且将PAC分析扩展到假设空间无限的情况7.5：介绍出错界限模型，并提供了前面章节中几个学习算法出错数量的界限，最后介绍了加权多数算法

可能学习近似正确假设可能近似正确（Probablyapproximatelycorrect，PAC）学习模型PAC学习模型适用的问题在此模型下，学习不同类别的目标函数需要多少训练样例和多大的计算量本章将讨论将限制在学习布尔值概念，且训练数据是无噪声的（许多结论可扩展到更一般的情形）

问题框架?

问题框架通过h在从X中抽取的新实例上的性能来评估L是否成功。抽取过程按照分布D，即与产生训练数据相同的概率分布。要求L足够一般，以至于可以从C中学到任何目标概念而不管训练样例的分布状况。所以我们经常会对C中所有可能的目标概念和实例分布D进行最差情况的分析。

假设的错误率?

假设的错误率实例空间Xch一致区间关于c的h的错误率为一个随机抽取的实例落入h和c对它的分类不一致的概率

假设的错误率真实错误率紧密地依赖于未知概率D如果D是一个均匀的概率分布，错误率为h和c不一致的空间在全部实例空间中的比例如果D恰好把h和c不一致区间中的实例赋予了很高的概率，相同的h和c将造成更高的错误率h关于c的错误率不能直接由学习器观察到，L只能观察到在训练样例h上的性能。训练错误率：指代训练样例中被h误分类的样例所占比例问题：观察到的h训练错误率对真实错误率产生不正确估计的可能性有多大

PAC可学习性目标：对随机抽取合理数量的训练样例，通过合理计算量可靠地学习到的目标概念如何描述可学习性：一种可能的选择：为了学习到使真实错误率为0的假设h，所需的训练样例数目不可行！可能近似学习：首先只要求学习器输出错误率限定在某常数ε范围内其次要求对所有的随机抽取样例序列的失败概率限定在常数δ只要求学习一个近似正确的假设

PAC可学习性?

PAC可学习性在实践中，通常关心所需的训练样例数如果L对每个训练样例需要某最小处理时间，那么为了使c是L可PAC学习的，L必须从多项式数量的训练样例中进行学习实际上，为了显示某目标概念类别C是可PAC学习的，一个典型的途径是证明C中每个目标概念可以从多项式数量的训练样例中学习到，且处理每个样例的时间也是多项式级PAC可学习性的一个隐含条件：对C中每个目标概念c，假设空间H都包含一个以任意小误差接近c的