什么是PAC样本复杂度.pptVIP

主要内容： What is PAC? Consider a concept class C defined over a set of instances X of length n and a learner L using hypothesis space H. C is PAC-learnable by L using H if for all c belonging to C distribution D over X, ? such that 0 ? ?, and δ such that 0 δ ? learner L will with probability at least (I – δ) output a hypothesis h belonging to H such that errorD(h) = ? in time that is polynomial in 1/ ?,1/ δ,n, and size(c). 变型空间的ε-详尽 变型空间: 考虑一假设空间H，目标概念c，实例分布D以及c的一组训练样例S。当VSH,S中每个假设h关于c和D错误率小于ε时，变型空间被称为关于c和D是ε-详尽的. 定理: 若假设空间H有限，且S为目标概念c的一系列m≥1个独立随机抽取的样例，那么对于任意0≤ε≤1，变型空间VSH,S不是ε-详尽（关于c）的概率小于或等于: 证明： 任一假设真实错误率大于?，且与一个随机抽取样例一致的可能性最多为1-?，因此，该假设与m个独立抽取样例一致的概率最多为(1-?)m 有k个假设错误率大于ε，那么至少有一个与所有m个训练样例都不一致的概率最多为 k (1-?)m,并且因为k≤|H|，上式最多为 |H |(1-?)m.借助不等式: 当0≤ε≤1则(1-ε)≤e-ε 刚才给出了变型空间不是ε-详尽的概率的上界。那么，我们可以通过增加样本数使得变型空间不是ε-详尽的概率小于一个界δ 。即 (1) 整理后可得 (2) 虽然(2)式基于的假定是学习器输出一零错误率假设，对于更一段的情形下学习器考虑到了有非零训练错误率的假设时，仍能找到一个简单的边界。 下面这个式子给出了这个边界: 及格概念是可学习的 假定学生的分数是0-100的整数，且服从均匀分布 C是0-100之间的整数为分界线的2-划分集合 X是0-100的整数集合 S是0-100的整数序列及它们的类别 L为1-NN H为0-100之间的整数为分界线的2-划分集合 ? = 0.1 δ = 0.1 及格概念是可学习的 证明： 需要的样本数： 主动学习需要的样本数为4 基于给定的样例需要69(由(2)式) L的时间复杂度为o(n) 因此及格概念是可学习的 实验： Thank you! 计算学习理论 什么是PAC？ 样本复杂度 0.9593 0.9090 1000 11 0.9393 0.7890 1000 7 0.9753 0.9880 1000 20 0.9543 0.9501 0.9453 0.9929 平均正确率 0.8890 0.8650 0.8330 1 学习到目标概念的概率 实验次数 每次选取样本数 1000 10 1000 9 1000 8 1000 69