ch6机器学习与知识发现人工智能课程安徽理工大学计.ppt

最后生成的 决策树 由决策树所得的规则集 ： ① 女性且年龄在 25 岁以上，则给予 A 类保险； ② 女性且年龄在 21 岁到 25 岁之间，则给予 A 类保险； ③ 女性且年龄在 21 岁以下，则给予 C 类保险； ④ 男性且年龄在 25 岁以上，则给予 B 类保险； ⑤ 男性且年龄在 21 岁到 25 岁之间且未婚，则给予 C 类保险； ⑥ 男性且年龄在 21 岁到 25 岁之间且已婚，则给予 B 类保险； ⑦ 男性且年龄在 21 岁以下且未婚，则给予 C 类保险； ⑧ 男性且年龄在 21 岁以下且已婚，则给予 B 类保险。 3. ID3 算法 ID3 算法是一个经典的决策树学习算法，由 Quinlan 于 1979 年提出。 ID3 算法的基本思想是， 以信息熵为度量，用于决策树节点的属性选择， 每次优先选取信息量最多的属性，亦即能使熵值 变成最小的属性，以构造一棵熵值下降最快的决 策树，到叶子节点处的熵值为 0 。此时，每个叶子 节点对应的实例集中的实例属于同一类。 （ 1 ） 信息熵和条件熵 设 S 是一个实例集 ( S 也可以是子实例集 ), A 为 S 中实 例的一个属性。 H ( S ) 和 H ( S | A ) 分别称为实例集 S 的 信息熵和条件熵 , 其计算公式如下 : 其中 , μ i ( i =1, 2, …, n ) 为 S 中各实例所有可能的结