Lecture15-1分析学习讲述.ppt

对基于解释的学习的说明（3） 仅仅重述学习器已经知道的 学习器并没有学习新的知识，意义在于 原则上已知的和实践上可有效计算的之间的区别很大，因此这种“知识重建”也是学习的重要形式 学习到的规则直接从可观察到实例映射得到，方法是使其与基本领域理论一致 使用原始的领域理论可能需要许多推理步和很乐观的搜索才能对任意实例分类 学习到的规则可在一个推理步内分类观察到的实例 基于解释的学习致力于重建领域理论，产生单步推理出样例分类的一般规则 这种知识重建的过程有时被称为知识汇编，表示这种转换是为了增加知识使用的效率，而不改变知识的正确性和完备性 * 发现新特征 Prolog-EBG一个有趣的能力是形成在训练样例的描述中没有显示出现的新特征 这些学习到的“新特征”类似于由神经网络的隐藏单元表示的特征类型 不像神经网络中使用统计过程从多个训练样例中推导出隐藏单元特征，Prolog-EBG应用了一个分析过程基于单个训练样例的分析推导新特征 领域理论中的最初项的特定合成和实例化导致了新特征的定义 * 演绎学习 纯粹的Prolog-EBG是一个演绎的而不是归纳的学习过程，它输出一个假设满足下面的约束 (?xi,f(xi)?D)(h?xi)?f(xi) D?B?h 第一个约束只是简单地将机器学习的需求形式化，第二个约束描述了领域理论的作用：输出假设被进一步约束，使其符合领域理论和数据 第二个约束减少了学习器在选择假设时面临的歧义性，因此领域理论减少了假设空间的规模并降低了学习的样本复杂度 实质上，Prolog-EBG假定领域理论B涵蕴训练数据中实例的分类，即 (?xi,f(xi)?D)(B?xi)?f(xi) * 演绎学习（2） Prolog-EBG和ILP的比较 ILP中也使用到了背景知识B’，B’一般不满足式子11.3的约束 ILP是一个归纳学习系统，而Prolog-EBG是演绎学习系统 ILP使用背景知识来扩大待考虑的假设集合，而Prolog-EBG使用领域理论来减小可接受假设的集合 ILP要求： (?xi,f(xi)?D)(B’?h?xi)?f(xi)，而Prolog-EBG要求更严格： (?xi,f(xi)?D)(h?xi)?f(xi) * 基于解释的学习的归纳偏置 根据第2章，一个学习算法的归纳偏置为一组断言，它们与训练样例一起演绎后续预测 Prolog-EBG的归纳偏置 似乎是领域理论B，但由于领域理论可涵蕴多个可选的Horn子句集，因此归纳偏置还需包含在这些子句集中做出选择的内容 由于每个单独的Horn子句是当前训练样例的解释所许可的最一般子句，因此归纳偏置为对极大一般化Horn子句的小集合的偏好 实际上，Prolog-EBG的贪婪算法只是为寻找极大一般化Horn子句的真正最短集合所需的彻底搜索算法的一个启发式的近似 近似的Prolog-EBG归纳偏置：领域理论B，加上对极大一般化Horn子句的小集合的偏好 * 基于解释的学习的归纳偏置（2） Prolog-EBG的归纳偏置在很大程度上由输入的领域理论决定，这与前面讨论的许多算法不同 前面讨论的算法的归纳偏置是学习算法的一个固定属性，一般由其假设表示的语法所确定 把归纳偏置作为一个输入参数而不是学习器的固定属性十分重要 一个通用的学习方法至少会允许归纳偏置能够随待解决的学习问题变化，通过修改输入参数比通过限制假设的语法形式来实现偏置性要方便得多 比如一个自治agent随着时间改进它的学习能力，那么最好有一个算法，它的泛化能力可在其获得更多的领域知识后增强 * 知识级的学习 Prolog-EBG算法中假设h可以直接从B中派生，与D无关 可以设想有一个条目枚举器，它基于领域理论B中的断言简单地枚举能得到目标概念的所有证明树 条目枚举器用与Prolog-EBG相似的方法计算最弱前像并构造一个Horn子句 条目枚举器输出的是Prolog-EBG输出的子句的超集，存在下面的特点： 训练样例的用途：使算法更关注覆盖实际出现的样例分布的生成规则，比尝试枚举棋盘的所有可能条目更可能得到更小、更相关的规则集 Prolog-EBG不会学习到一个超出隐含在领域理论中的知识的假设 * 知识级的学习（2） Prolog-EBG不会学习到一个超出隐含在领域理论中的知识的假设，但这不是分析学习或演绎学习的固有缺陷 能够找到一个B不涵蕴h，但B?D涵蕴h的例子，如 B=(?x) IF ((PlayTennis=Yes)?(Humidity=x)) THEN ((PlayTennis=Yes)?(Humidity?x)) D=Humidity=0.3 h=(PlayTennis=Yes)?(Humidity?0.3) 知识级学习被用来称这类型的学习：学到的假设涵蕴的预测不能被单独的领域理论涵蕴 由断言集合Y涵蕴的所有