ml-chap12.docVIP

　归纳和分析学习的结合 纯粹的归纳学习方法通过在训练样例中寻找经验化的规律来形成一般假设。纯粹的分析方法使用先验知识演绎推导一般假设。本章考虑将归纳和分析的机制结合起来的方法，以获得两者的优点：有先验知识时更高的泛化精度，和依赖训练数据克服先验知识的不足。所得到的结合的方法比纯粹的归纳学习方法和纯粹的分析学习方法性能都要高。本章考虑的归纳-分析学习方法同时基于符号表示和人工神经网络表示。 动机 在前几章我们已经见到了两种类型的机器学习：归纳学习和分析学习。归纳方法如决策树归纳和神经网络反向传播等，它寻找拟合训练数据的一般假设。分析的方法如Prolog-EBG，它寻找拟合先验知识的一般假设，同时使它覆盖训练数据。这两种学习范型所基于的对学习到的假设的论证方法有根本的不同，因此，优缺点互为补充。将它们结合起来有可能得到更强有力的学习方法。 纯粹的分析学习方法优点在于，可用先验知识从较少的数据中更精确地泛化以引导学习，然而当先验知识不正确或不足时，这一方法可能会进入歧途。纯粹的归纳方法具有的优点是不需要显式的先验知识，并且主要基于训练数据学习到规律。然而，若训练数据不足时它能会失败，并且会被其中隐式的归纳偏置所误导，而归纳偏置是从观察数据中泛化所必需的。表12-1概述了两者的互补的优点和缺陷。本章考虑的问题是怎样将二者结合成一个单独的算法，以获得它们各自的优点。 归纳和分析学习方法之间的