高级人工智能 第六章 归纳学习.ppt

史忠植 高级人工智能 第六章 归纳学习 内容提要 概述 归纳学习的一般模式 基本符号表 基本符号表 概念获取 概念获取 完整性条件 一致性条件 描述符类型 描述符类型 选择型泛化规则 选择型泛化规则 选择型泛化规则 选择型泛化规则 选择型泛化规则 选择型泛化规则 选择型泛化规则 选择型泛化规则 构造型泛化规则 构造型泛化规则 构造型泛化规则 偏置变换 偏置变换 偏置变换 变型空间 变型空间 初始变型空间 第一个训练实例(sm cir) 第二个训练实例(lg,tri) 第三个训练实例(lg cir) 消除候选元素算法 消除候选元素算法 改进算法 变型空间缺点 AQ归纳学习算法 简单的AQ学习算法 简单的AQ学习算法 简单的AQ学习算法 AQ学习算法 (1) 正规的初始 H集是整个规则空间，这时 S包含所有可能的训练正例（最特殊的概念）。这时 S集规模太大。实际算法的初始 S集只包含第一个训练正例, 这种 H就不是全空间了。 (2) 接收一个新的训练例子。如果是正例，则首先由 G中去 掉不覆盖新正例的概念，然后修改 S为由新正例和 S原有元素共 同归纳出的最特殊的结果（这就是尽量少修改 S，但要求 S覆盖新正例）。如果这是反例，则首先由 S中去掉覆盖该反例的概念，然后修改 G为由新反例和 G原有元素共同作特殊化的最一般的结果（这就是尽量少修改 G，但要求 G不覆盖新反例）。 (3) 若 G=S且是单元素集，则转 (4)，否则转 (2)。 (4) 输出 H中的概念（即 G和 S）。 冲突匹配算法 (Hayes-Roth和 McDormott) 它用于学习“参数化结构表示”所表达的概念。在上述的修改 S过程中，总是对 S作尽量少的泛化，以便覆盖新的正例。如果描述形式为谓词表达式，则这个过程相当于寻找最大的公共子表达式，这只需要去掉最少的合取条件。 最大的合一泛化 这个算法用于寻找谓词表达式的最大的合一泛化。它类似于冲突匹配算法，但是它使用的表示语言允许在匹配中多对一的参数联系。 (1) 抗干扰能力差 (2) 不能学习析取概念 1969年, Michalski提出了AQ学习算法, 这是一种基于实例的学习方法。AQ算法生成的选择假设的析取, 覆盖全部正例, 而不覆盖任何反例。 1978年提出了AQ11 AQ18 AQ19 它是利用覆盖所有正例，排斥所有反例的思想来寻找规则。 比较典型的有Michalski的AQ11方法 洪家荣改进的AQ15方法 洪家荣的AE5方法 (1) 集中注意一个实例(作为种子); (2) 生成该实例的一致性泛化式(称作star); (3) 根据偏好标准, 从star选择最优的泛化式(假设)。如果需要, 特化该假设; (4) 如果该假设覆盖了全部实例, 则停止; 否则选择一个未被假设覆盖的实例, 转到 (2)。 AE方法 AE系列方法是在扩张矩阵中寻找覆盖正例排斥反例的字段值的规则 Michalski等采用AQ11程序学习15种黄豆病害的诊断规则。提供给程序630种患病黄豆植株的描述，每个描述是35个特征的特征向量。同时送入每个描述的专家诊断结论。选择例子程序从中选出290种样本植株作为训练例子。选择准则是使例子间相差较大。其余340种植株留作测试集合，用来检验得到的规则。 * 史忠植 中科院计算所 6.1 归纳学习的逻辑基础 6.2 偏置变换 6.3 变型空间方法 6.4 AQ归纳学习算法 6.5 产生与测试方法 6.6 决策树学习 6.7 归纳学习的计算理论 给定关于某个概念的一系列已知的正例和反例，其任 务是从中归纳出一个一般的概念描述。归纳学习能够获得 新的概念，创立新的规则，发现新的理论。 泛化(generalization)用来扩展一假设的语义信息， 以使其能够包含更多的正例，应用于更多的情况。 特化(specialization)是泛化的相反的操作，用于限 制概念描述的应用范围。 给定: ① 观察语句集(事实)F：这是有关某类对象中个别 具体对象的知识或某一对象的部分特征的知识。 ② 假定的初始归纳断言(可空)：是关于目标的泛化项或泛化描述。 ③ 背景知识：背景知识定义了在观察语句和所产生的候选归纳断言上的假定和限制，以及任何有关问题领域知识。有关问题领域知识包括特化所找归纳断言的期望性质的择优标准。 寻找: 归纳断言H(hypothesis), H 重言或弱蕴涵观察语句并满足背景知识。 ~ 非 合取（逻辑乘） ? 析取（逻辑加） ? 蕴涵 ? 逻辑等价 ? 项重写 ? 异或