2019年计算学习理论未讲.pptVIP

2003.12.18 机器学习 - 计算学习理论 作者： Mitchell 译者：曾华军等 讲者：陶晓鹏 31 Vapnik-Chervonenkis 维度 ? 打散一实例集合的能力与假设空间的归纳偏置紧密相 关 ? 无偏的假设空间能够打散所有实例组成的集合 X ? 直观上，被打散的 X 的子集越大， H 的表示能力越强 ? 定义：定义在实例空间 X 上的假设空间 H 的 Vapnik- Chervonenkis 维，是可被 H 打散的 X 的最大有限子集的 大小 ? 如果 X 的任意有限大的子集可被 H 打散，则 VC(H)= ? 2003.12.18 机器学习 - 计算学习理论 作者： Mitchell 译者：曾华军等 讲者：陶晓鹏 32 Vapnik-Chervonenkis 维度（ 2 ） ? 对于任意有限的 H ， VC(H)=log 2 |H| ? VC 维举例 – 假定实例空间 X 为实数集合，而且 H 为实数轴上的区 间的集合，问 VC(H) 是多少？ ? 只要找到能被 H 打散的 X 的最大子集，首先包含 2 个实例的 集合能够被 H 打散，其次包含 3 个实例的集合不能被 H 打散， 因此 VC(H)=2 – 实例集合 S 对应 x 、 y 平面上的点，令 H 为此平面内所 有线性决策面的集合，问 H 的 VC 维是多少？ ? 能够找到 3 个点组成的集合，被 H 打散，但无法找到能够被 H 打散的 4 个点组成的集合，因此 VC(H)=3 ? 更一般地，在 r 维空间中，线性决策面的 VC 维为 r+1 2003.12.18 机器学习 - 计算学习理论 作者： Mitchell 译者：曾华军等 讲者：陶晓鹏 33 Vapnik-Chervonenkis 维度（ 3 ） – 假定 X 上每个实例由恰好 3 个布尔文字的合取表示， 而且假定 H 中每个假设由至多 3 个布尔文字描述，问 VC(H) 是多少？ ? 找到下面 3 个实例的集合 – instance 1 : 100 – instance 2 : 010 – instance 3 : 001 ? 这三个实例的集合可被 H 打散，可对如下任意所希望的划 分建立一假设：如果该划分要排除 instance i ，就将文字 ? l i 加入到假设中 ? 此讨论很容易扩展到特征数为 n 的情况， n 个布尔文字合取 的 VC 维至少为 n ? 实际就是 n ，但证明比较困难，需要说明 n+1 个实例的集合 不可能被打散 2003.12.18 机器学习 - 计算学习理论 作者： Mitchell 译者：曾华军等 讲者：陶晓鹏 34 样本复杂度和 VC 维 ? 使用 VC 维作为 H 复杂度的度量，就有可能推导出该问 题的另一种解答，类似于式子 7.2 的边界，即（ Blumer el al. 1989 ） ? 定理 7.3 ：样本复杂度的下界（ Ehrenfeucht et al. 1989 ） – 考虑任意概念类 C ，且 VC(C)=2 ，任意学习器 L ，以及任意 0 ? 1/8 ， 0 ? 1/100 。存在一个分布 D 以及 C 中一个目标概念， 当 L 观察到的样例数目小于下式时： L 将以至少 ? 的概率输出一假设 h ，使 error D (h) ? ? ? ) / 13 ( log ) ( 8 ) / 2 ( log 4 1 2 2 ? ? ? H VC m ? ? ? ? ? ? ? ? ? ? ? ? 32 1 ) ( ), / 1 log( 1 max C VC 2003.12.18 机器学习 - 计算学习理论 作者： Mitchell 译者：曾华军等 讲者：陶晓鹏 35 样本复杂度和 VC 维（ 2 ） ? 定理 7.3 说明，若训练样例的数目太少， 那么没有学习器能够以 PAC 模型学习到 任意非平凡的 C 中每个目标概念 ? 式子 7.7 给出了保证充足数量的上界，而 定理 7.3 给出了下界 2003.12.18 机器学习 - 计算学习理论 作者： Mitchell 译者：曾华军等 讲者：陶晓鹏 36 神经网络的 VC 维 ? 本节给出一般性的结论，以计算分层无环网络 的 VC 维。这个 VC 维可用于界定训练样例的数 量，该数达到多大才足以按照希望的 ? 和 ? 值近 似可能正确地学习一个前馈网络 ? 考虑一个由单元组成的网络 G ，它形成一个分 层有向无环图 – 分层有向无环图的特点