复试人工智能机器学习.pptxVIP

第12章归纳和分析学习的结合动机学习的归纳－分析学习途径使用先验知识得到初始假设使用先验知识改变搜索目标使用先验知识来扩展搜索算子研究现状小结和补充读物

第12章归纳和分析学习的结合纯粹的归纳学习算法通过在训练样例中寻找经验化的规律来形成一般假设。纯粹的分析方法使用先验知识演绎推导一般假设。这里考虑将归纳和分析的机制结合起来的方法，获得两者的优点：有先验知识时更高的泛化精度和依赖训练数据克服先验知识的不足。所得到的结合的方法比纯粹的归纳学习方法和纯粹的分析学习方法性能都要高。这里考虑的归纳－分析学习方法同时基于符号表示和人工神经网络表示。

12.1动机纯粹的分析学习方法优点在于，可用先验知识从较少的数据更精确地泛化以引导学习，然而当先验知识不正确或不足时，这一方法可能会产生误导。纯粹的归纳方法具有的优点是不需要显式的先验知识，并且主要基于训练数据学习规律。然而，若训练数据不足时它会失败，并且会被其中隐式的归纳偏置所误导，而归纳偏置是从观察数据中泛化所必须的。

12.1动机归纳学习分析学习目标拟合数据的假设拟合领域理论的假设论证统计推理演绎推理优点需要很少先验知识从稀少的数据中学习缺陷稀少的数据，不正确的偏置不完美的领域理论纯粹的归纳学习和纯粹分析学习的比较

12.1动机归纳和分析学习方法之间的不同可从它们对学习到的假设进行的论证（justification）性质中看出。由纯粹的分析学习输出的假设执行的是逻辑论证；输出的假设从领域理论和训练数据中演绎派生。纯粹的归纳学习方法输出的假设执行的是统计论证：输出的假设从统计论据中派生，它说明训练样本足够大，从而能代表样例的基本分布。

12.1动机逻辑论证的强度只相当于它们所基于的假定或先验知识。如果先验知识不正确或不可知，逻辑论证是不可信和无说服力的。统计论证的强度依赖于它们基于的数据和统计假定。当基准分布不可信或数据稀少时，统计论证也是不可信且无力的。学习任务的分布范围归纳学习丰富的数据无先验知识分析学习完美的先验知识稀少的数据

12.1动机一个系统能将先验知识作为显式的输入给学习器，训练数据也同样作为显式输入。它们仍为通用的算法，但利用了领域的特定知识。它是一个领域无关算法，这种算法使用显式输入的领域相关的知识。其属性如下： 如果没用领域理论，它至少能像纯粹的归纳方法一样有效学习 如果有完美的领域理论，它至少能像纯粹的分析方法一样有效地学习 如果领域理论和训练数据都不完美，它应能结合两者的长处，比单纯的归纳或分析方法的性能都要好 它应能处理训练数据中未知程度的差错 它应能处理领域理论中未知程度的差错

12.2学习的归纳－分析途径12.2.1学习问题已知： 一个训练样例集合D，可能包含差错 一个领域理论B，可能包含差错 候选假设的空间H求解： 一个最好地拟合训练样例和领域理论的假设学习问题是为了使假设在数据和领域理论上的错误率的某种综合度量最小化。

12.2.1学习问题可以要求拟合训练样例和领域理论的错误率的某种综合度量最小化。如但是不清楚怎样确定kd和kb的值来制定拟合数据和拟合领域理论两者的相对重要程度。

12.2.2假设空间搜索将大多数学习任务刻画为搜索算法，需要定义待搜索的假设空间H，搜索的开始点为初始假设h0，定义单个搜索步的搜索算子集合O以及指定搜索目标的判据G。下面探索三种搜索算法：使用先验知识推导出搜索起步的初始假设。用这种方法，领域理论B被用于建立一个与B一致的初始假设h0。然后以这个初始假设h0为起点应用标准归纳方法。使用先验知识来改变假设空间搜索的目标。在这种方法中，目标判据G被修改，以要求输出假设拟合训练样例的同时也拟合领域理论。使用先验知识改变可用的搜索步。在此方法中，领域理论改变了搜索算子集合O。例如下面描述的FOCL系统以这种方式学习Horn子句集。

12.3使用先验知识获得初始假设将假设初始化为完美拟合领域理论，然后按照需要归纳地精化此初始假设以拟合训练数据。这种方法被用于KBANN(Knowledge-BasedArtificialNeuralNetwork)算法中。在KBANN中，首先建立一个初始的网络。对每个可能实例，网络赋予它的分类等于领域理论赋予的分类。然后应用反向传播算法来调整初始网络，使其拟合训练样例。该技术的动机在于：如果领域理论是正确的，初始假设将正确分类所有训练样例，而无需再修正。然而，如果初始假设不能完美地分类训练样例，那么它需要被归纳精化，以改进它在训练样例上的拟合度。在纯粹归纳的反向传播算法中，权值一般被初始化为小的随机值。KBANN背后的直观含义在于，即使领域理论是近似正确的，将网络初始化为拟合领域理论，比初始化为随机权值有更好的近似开端。这应该可以得到泛化精度更高的最终假设。

12.3.