归纳与分析学习的结合.pptVIP

2003.12.18 机器学习-归纳和分析学习的结合 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 机器学习 第12章 归纳和分析学习的结合 概述 纯粹的归纳学习方法通过在训练样例中寻找经验化的规律来形成一般假设 纯粹的分析方法使用先验知识演绎推导一般假设 本章考虑将归纳和分析的机制结合起来的方法，并获得两者的优点：有先验知识时获得更高的泛化精度和依赖训练数据克服先验知识的不足 所得到的结合的方法比纯粹的归纳方法和分析方法的性能都要高 动机 归纳学习寻找拟合训练数据的一般假设，分析学习寻找拟合先验知识的一般假设，同时使它覆盖训练数据 归纳方法和分析方法对假设的论证方法有根本区别，因此优缺点互为补充，将它们结合起来有可能得到更强有力的学习方法 纯粹的分析学习方法的优缺点 优点：可用先验知识从较少的数据中更精确地泛化以引导学习 缺点：当先验知识不足或不正确时，可能产生误导 纯粹的归纳学习方法的优缺点 优点：不需要显示的先验知识，主要基于训练数据学习规律 缺点：训练数据不足时，会失败，会被其中隐式的归纳偏置所误导 表12-1 纯粹的分析学习和纯粹的归纳学习的比较 动机（2） 图12-1 概述了学习问题的分布范围，它随着可获得的先验知识和训练数据不同而变化 在一个极端，有大量的训练数据，但没有先验知识 在另一个极端，有很强的先验知识，但训练数据很少 多数实际学习问题位于这两个极端之