计算学习理论.pptVIP

机器学习与数据挖掘;概述;简介〔1〕;何为PAC?;简介〔2〕;简介〔3〕;简介〔4〕;简介〔5〕;可能学习近似正确假设;问题框架;;假设的错误率;定义：假设h的关于目标概念c和分布D的真实错误率为h误分类根据D随机抽取的实例的概率

;;假设的错误率〔2〕;PAC可学习性〔1〕;PAC可学习性〔2〕;PAC可学习性〔3〕;;

VC维与模型复杂度、样本复杂度

;VC维与模型复杂度、样本复杂度;VC维与模型复杂度、样本复杂度;vc维与模型复杂度、样本复杂度;有限假设空间的样本复杂度;;有限假设空间的样本复杂度〔1〕;有限假设空间的样本复杂度〔2〕;定义：考虑一假设空间H，目标概念c，实例分布D以及c的一组训练样例S。当VSH,D中每个假设h关于c和D错误率小于?时，变型空间被称为c和D是?-详尽的。;有限假设空间的样本复杂度〔3〕;有限假设空间的样本复杂度〔4〕;;有限假设空间的样本复杂度〔5〕;;有限假设空间的样本复杂度〔6〕;有限假设空间的样本复杂度;不可知学习和不一致假设〔1〕;不可知学习和不一致假设〔2〕;;不可知学习和不一致假设〔3〕;布尔文字的合取是PAC可学习的〔1〕;;;;布尔文字的合取是PAC可学习的〔2〕;其他概念类别的PAC可学习性〔1〕;机器学习试图去建造一个可以学习的算法，用来预测某个目标的结果。要到达此目的，要给于学习算法一些训练样本样本说明输入与输出之间的预期关系。

然后假设学习器在预测中逼近正确的结果，其中包括在训练中未出现的样本。既然未知状况可以是任意的结果，假设没有其它额外的假设，这任务就无法解决。这种关于目标函数的必要假设就称为归纳偏置〔Mitchell,1980;desJardinsandGordon,1995〕。;一个典型的归纳偏置例子是奥卡姆剃刀定律〔Occam‘sRazor,Ockham’sRazor〕又称“奥康的剃刀”，它是由14世纪逻辑学家、圣方济各会修士奥卡姆威廉〔WilliamofOccam，约1285年至1349年〕提出。这个原理称为“如无必要，勿增实体”，即“简单有效原理”。正如他在《箴言书注》2卷15题说“切勿浪费较多东西去做，用较少的东西，同样可以做好的事情。”，;;;;其他概念类别的PAC可学习性〔2〕;

CNF〔合取范式：如果一个布尔公式是CNF〔合取范式〕〕：如果一个布尔公式是一些子句的合取〔与〕，而且子句是一合取〔单个文字或多个文字的析取，那么该公式是CNF。

公式CNF：如果CNF中每个子句都有且只有3个。CNF中每个子句都有且只有的文字，那么该公式称为3-CNF的文字，那么该公式称为3CNF。–例：(x1∨?x1∨?x2)∧(x3∨x2∨x4)∧(?x1∨?x3∨?x4);;某概念类有多项式级的样本复杂度，但不能够在多项式时间内被学习到

概念类C为k项析取范式〔k项DNF〕的形式

k项DNF：T1?...?Tk，其中每一个Ti为n个布尔属性和它们的否认的合取〔T1?Tk即T1或Tk〕

假定H=C，那么|H|最多为3nk，代入式7.2，得到

因此，k项DNF的样本复杂度为1/?、1/?、n和k的多项式级

但是计算复杂度不是多项式级，该问题是NP完全问题〔等效于其他的不能在多项式时间内解决的问题〕

因此，虽然k项DNF有多项式级的样本复杂度，它对于使用H=C的学习器没有多项式级的计算复杂度;其他概念类别的PAC可学习性〔3〕;无限假设空间的样本复杂度;;

Vapnik-Chervonenkis维度

传统的定义是：对一个指示函数集，如果存在H个样本能够被函数集中的函数按所有可能的2的H次方种形式分开，那么称函数集能够把H个样本打散；函数集的VC维就是它能打散的最大样本数目H。假设对任意数目的样本都有函数能将它们打散，那么函数集的VC维是无穷大，有界实函数的VC维可以通过用一定的阈值将它转化成指示函数来定义。;;打散一个实例集合;Vapnik-Chervonenkis维度〔1〕;样本复杂度和VC维〔1〕;;样本复杂度和VC维〔2〕;设发生坏事情的概率是δ，将其恒等变换可以得到训练误差和测试误差的差异ε。所以反过来讲，好事情〔训练误差和测试误差的差异小于ε〕发生时，Eout(g)被限制在一个范围内。这里式子定义为Ω(N,Η,δ)，称作模型复杂度,这个参数描述的意义是，我们的假设空间H有多么的强,使得我们的算法在泛化能力上需要付出多少代价。通俗的来讲，假设空间的容量越大，VC维越大，那么模型就越难学习。;样本复杂度和VC维〔3