史忠植高级人工智能.pptVIP

史忠植 高级人工智能 第六章 归纳学习 内容提要 概述 归纳学习的一般模式 概述 概述 基本符号表 基本符号表 概念获取 概念获取 完整性条件 一致性条件 描述符类型 描述符类型 选择型泛化规则 选择型泛化规则 选择型泛化规则 选择型泛化规则 选择型泛化规则 选择型泛化规则 选择型泛化规则 选择型泛化规则 构造型泛化规则 构造型泛化规则 构造型泛化规则 偏置变换 偏置变换 偏置变换 变型空间 变型空间 初始变型空间 第一个训练实例(sm cir) 第二个训练实例(lg,tri) 第三个训练实例(lg cir) 消除候选元素算法 消除候选元素算法 改进算法 变型空间缺点 AQ归纳学习算法 简单的AQ学习算法 简单的AQ学习算法 简单的AQ学习算法 AQ学习算法 (1) 正规的初始 H集是整个规则空间，这时 S包含所有可能的训练正例（最特殊的概念）。这时 S集规模太大。实际算法的初始 S集只包含第一个训练正例, 这种 H就不是全空间了。 (2) 接收一个新的训练例子。如果是正例，则首先由 G中去 掉不覆盖新正例的概念，然后修改 S为由新正例和 S原有元素共 同归纳出的最特殊的结果（这就是尽量少修改 S，但要求 S覆盖新正例）。如果这是反例，则首先由 S中去掉覆盖该反例的概念，然后修改 G为由新反例和 G原有元素共同作特殊化的最一般的结果（这就是尽量少修改 G，但要求 G不覆盖新反例）。 (3) 若 G=S且是单元素集，则转 (4)，否则转 (2)。 (4) 输出 H中的概念（即 G和 S）。 冲突匹配算法 (Hayes-Roth和 McDormott) 它用于学习“参数化结构表示”所表达的概念。在上述的修改 S过程中，总是对 S作尽量少的泛化，以便覆盖新的正例。如果描述形式为谓词表达式，则这个过程相当于寻找最大的公共子表达式，这只需要去掉最少的合取条件。 最大的合一泛化 这个算法用于寻找谓词表达式的最大的合一泛化。它类似于冲突匹配算法，但是它使用的表示语言允许在匹配中多对一的参数联系。 (1) 抗干扰能力差 (2) 不能学习析取概念 1969年, Michalski提出了AQ学习算法, 这是一种基于实例的学习方法。AQ算法生成的选择假设的析取, 覆盖全部正例, 而不覆盖任何反例。 1978年提出了AQ11 AQ18 AQ19 它是利用覆盖所有正例，排斥所有反例的思想来寻找规则。 比较典型的有Michalski的AQ11方法 洪家荣改进的AQ15方法 洪家荣的AE5方法 * 史忠植 中科院计算所 6.1 归纳学习的逻辑基础 6.2 偏置变换 6.3 变型空间方法 6.4 AQ归纳学习算法 6.5 产生与测试方法 6.6 决策树学习 6.7 归纳学习的计算理论 6.8 支持下向量机 给定关于某个概念的一系列已知的正例和反例，其任 务是从中归纳出一个一般的概念描述。归纳学习能够获得 新的概念，创立新的规则，发现新的理论。 泛化(generalization)用来扩展一假设的语义信息， 以使其能够包含更多的正例，应用于更多的情况。 特化(specialization)是泛化的相反的操作，用于限 制概念描述的应用范围。 给定: ① 观察语句集(事实)F：这是有关某类对象中个别 具体对象的知识或某一对象的部分特征的知识。 ② 假定的初始归纳断言(可空)：是关于目标的泛化项或泛化描述。 ③ 背景知识：背景知识定义了在观察语句和所产生的候选归纳断言上的假定和限制，以及任何有关问题领域知识。有关问题领域知识包括特化所找归纳断言的期望性质的择优标准。 寻找: 归纳断言H(hypothesis), H 重言或弱蕴涵观察语句并满足背景知识。 变型空间 AQ11算法 决策树方法ID3 ~ 非 合取（逻辑乘） ? 析取（逻辑加） ? 蕴涵 ? 逻辑等价 ? 项重写 ? 异或 F事实集 H 假设 | 特化 | 泛化 |= 重新形式化 ?vi存在量词约束变项vi ?Ivi 数值存在量词约束变项vi ?vi 全称量词约束变项vi Di 概念描述 Ki 判断一个概念的名字的谓词 :: 将概念描述与概念名连接的蕴涵 ei 一个事件（对一种情况的描述） Ei 仅对概念ki的事件为真的谓词 Xi 属性 LEF 评价函数 DOM(P) 描述符P的定义域 概念获取的一类特殊情况，它的观察语句集F是一个蕴涵的集合, 其形式如下： F: {eik :: Ki} i ? I 其中，eik(Ki的训练事件)是概念Ki的第