AAI06归纳学习(2)高级人工智能史忠植.pptVIP

史忠植 高级人工智能 第六章 归纳学习(2) 决策树 决策树 决策树 决策树 决策树 决策树 决策树 决策树 决策树 决策树 决策树 CLS算法 决策树 决策树 决策树 决策树 决策树 ID3 算法 ID3 算法 决策树 决策树 决策树ID4 决策树ID4 决策树ID4 决策树ID5 ID5算法 ID5属性提升算法 决策树 归纳学习的计算理论 Gold学习理论 Gold学习理论 Gold学习理论 Gold学习理论 Gold学习理论 枚举辨识算法 枚举辨识算法 模型推理系统 模型推理系统 模型推理系统 Valiant学习理论 Valiant学习理论 Valiant学习理论 Valiant学习理论 Support Vector Machine(SVM) Support Vector Machine(SVM) Support Vector Machine(SVM) Support Vector Machine(SVM) Support Vector Machine(SVM) Support Vector Machine(SVM) Support Vector Machine(SVM) Support Vector Machine(SVM) Support Vector Machine(SVM) Support Vector Machine(SVM) Support Vector Machine(SVM) Support Vector Machine(SVM) Support Vector Machine(SVM) Support Vector Machine(SVM) Support Vector Machine(SVM) Support Vector Machine(SVM) 基于 Gold 学习框架，Shapiro 提出了模型推理算法研究形式语言与其解释之间的关系，也就是形式语言的语法与语义之间的关系。模型论把形式语言中的公式、句子理 论和它们的解释 ─ 模型，当作数学对象进行研究。Shapiro 模型推理算法只要输入有限的事实就可以得到一种理论输出(Shapiro 1981)。 Gold的语言学习理论研究引入两个基本概念，即 极限辨识 枚举辨识, 这对早期的归纳推理的理论研究起了非常重要的作用(Gold 1967)。 极限辨识把归纳推理看作一种无限过程，归纳推理方法的最终或极限行为可以看作是它的成功标准。 假设 M是一种归纳推理方法，它企图正确地描述未知规则 R。假设M重复运行，R的实例集合则愈耒愈大，形成M推测的无限序列 g1, g2,…。如果存在某个数 m， 使得 gm 是R的正确描述， gm=gm＋1=gm＋2=…, 枚举辨识是第一种方法推测多项式序列的抽象，即对可能的规则空间进行系统搜索，直到发现与迄今为止的所有数据相一致的推测。假设规定了规则的具体领域，有一个描述枚举，即 d1，d2, d3,…, 以致于领域中的每一条规则在枚举中有一种或多种描述。给定一条规则的某个实例集合，枚举辨识方法将通过这个表，找到第一个描述 d1，即与给定的实例相容，那么推测为 d1。这种方法不能确定是否会达到正确的极限辨识。如果实例表示和相容关系满足下面两个条件，那么枚举方法保证极限辨识该领域中的全部规则： (1) 一个正确假设总是与给定的实例相容。 (2) 任何不正确的假设与实例足够大的集合或与全部集合不相容。 为了枚举方法是可计算的，枚举 d1, d2, d3, … 必须是可计算的，它必须能够计算给定的描述与给定的实例集合是相容的。 枚举辨识算法。 输入： 一组表达式的集合 E = e1,e2,…。 谕示(oracle) TE提供足够的目标实例集。 排序信息的谕示LE。 输出： 一系列假设断言H1, H_2, …, 每个假设Hi都在E中，并与第i 个实例一致。 过程： 1. 初始化，i ? 1; 2. examples ? emptyset; 3. Loop: 3.1 调用TE(), 将example 加到集合examples; 3.2 While LE(ei,+x) = no, 对正例集+x, 或者 LE(ei,-x) = yes, 对反例集-x, i ? i + 1; 4. 输出ei 模型推理问题是科学家所面临的问题抽象，他们在具有固定概念框架的某种领域里工作，进行试验，试图找到一种理论可以解释他们的结果。在这种抽象中研究的领域是对给