第12章归纳学习与分析学习相结合.pptVIP

* * 第12章 归纳和分析学习的结合 为什么要结合? 怎样结合? §12.1 动机 归纳学习方法通过在训练样例中寻找经验化的规律来形成一般假设 归纳学习寻找拟合训练数据的一般假设 分析方法使用先验知识演绎推导一般假设 分析学习寻找拟合先验知识的一般假设，同时使它覆盖训练数据 纯粹的分析学习方法的优缺点 ---优点：可用先验知识从较少的数据中更精确地泛化以引导学习 ---缺点：当先验知识不足或不正确时，可能产生误导 纯粹的归纳学习方法的优缺点 ---优点：不需要显式的先验知识，主要基于训练数据学习规律 ---缺点：训练数据不足时，会失败，会被其中隐式的归纳偏置所误导 不完美的领域理论 稀少的数据，不正确的偏置 缺陷 从稀少的数据中学习 需要很少先验知识 优点 演绎推理 统计推理 论证 拟合领域理论的假设 拟合数据的假设 目标 分析学习 归纳学习 分析学习 完美的先验知识 稀少的数据 归纳学习 丰富的数据 无先验知识 学习问题的分布范围 多数实际学习问题位于这两个极端之间，通常可以从近似的先验知识开始 本章考虑将归纳和分析的机制结合起来的方法，并获得两者的优点：有先验知识时获得更高的泛化精度和依赖训练数据克服先验知识的不足; 问题: 什么样的算法，使用近似的先验知识结合可用数据来形成一般的假设 概括而言，我们感兴趣的是领域无关算法，这种算法使用显示输入的领域相关的知识，