FOIL算法可视化演示与领域定制.docVIP

FOIL算法的可视化演示和领域定制 FOIL算法综述 FOIL 由 Quinlan 于1989年开发，采用自上而下的算法。在一个既有正又有反的事实的训练集中，先找出一个只覆盖正例而不涉及反例的逻辑子句 (clause) ，然后把这个子句覆盖的事实从训练集中删除。如此直到训练集中没有正例为止。FOIL是较早的序列覆盖和learn-one-rule 算法在一阶表示上的自然扩展。在 FOIL 与序列覆盖和learn-one-rule 算法之间有两个最实质的不同，它来源于此算法对一阶规则处理的需求。 形式化地讲，由FOIL 学习的假设为一阶规则集，其中的规则类似于Horn 子句，但有两个不同：首先由FOIL 学习的规则比一般的Horn子句更受限，因为文字不允许包含函数符号（这减小了假设空间搜索的复杂度）。其次，FOIL规则比Horn 子句更有表征力，因为规则体中的文字也可为负文字。FOIL 已被应用于多种问题领域。例如，它已用于学习快速排序算法Quicksort 的递归定义，以及学习从合法棋盘状态中区分出非法状态。下面我们先介绍主要的一些相关知识和算法。 1.1 基本的决策树学习算法 大多数已开发的决策树学习算法是一种核心算法的变体。该算法采用自顶向下的贪婪搜索遍历可能的决策树空间。这种方法是ID3 算法（Quinlan 1986）和后继的C4.5算法（Quinlan 1993）的基础