5.决策树试卷.pptVIP

* * * * * * * * * * * * * 计数 年龄 收入 学生 信誉 归类：买计算机？ 64 青 高 否 良 不买 64 青 高 否 优 不买 128 中 高 否 良 买 60 老 中 否 良 买 64 老 低 是 良 买 64 老 低 是 优 不买 64 中 低 是 优 买 128 青 中 否 良 不买 64 青 低 是 良 买 132 老 中 是 良 买 64 青 中 是 优 买 32 中 中 否 优 买 32 中 高 是 良 买 63 老 中 否 优 不买 1 老 中 否 优 买 第3步计算收入的熵 收入共分三个组： 高、中、低 E（收入）=0.9361 收入信息增益=0.9537-0.9361 =0.0176 (2) 决策树算法 计数 年龄 收入 学生 信誉 归类：买计算机？ 64 青 高 否 良 不买 64 青 高 否 优 不买 128 中 高 否 良 买 60 老 中 否 良 买 64 老 低 是 良 买 64 老 低 是 优 不买 64 中 低 是 优 买 128 青 中 否 良 不买 64 青 低 是 良 买 132 老 中 是 良 买 64 青 中 是 优 买 32 中 中 否 优 买 32 中 高 是 良 买 63 老 中 否 优 不买 1 老 中 否 优 买 第4步计算学生的熵 学生共分二个组： 学生、非学生 E（学生）=0.7811 年龄信息增益=0.9537-0.7811 =0.1726 （3） 决策树算法 计数 年龄 收入 学生 信誉 归类：买计算机？ 64 青 高 否 良 不买 64 青 高 否 优 不买 128 中 高 否 良 买 60 老 中 否 良 买 64 老 低 是 良 买 64 老 低 是 优 不买 64 中 低 是 优 买 128 青 中 否 良 不买 64 青 低 是 良 买 132 老 中 是 良 买 64 青 中 是 优 买 32 中 中 否 优 买 32 中 高 是 良 买 63 老 中 否 优 不买 1 老 中 否 优 买 第5步计算信誉的熵 信誉分二个组： 良好，优秀 E（信誉）= 0.9048 信誉信息增益=0.9537-0.9048 =0.0453 （4） 决策树算法 计数 年龄 收入 学生 信誉 归类：买计算机？ 64 青 高 否 良 不买 64 青 高 否 优 不买 128 中 高 否 良 买 60 老 中 否 良 买 64 老 低 是 良 买 64 老 低 是 优 不买 64 中 低 是 优 买 128 青 中 否 良 不买 64 青 低 是 良 买 132 老 中 是 良 买 64 青 中 是 优 买 32 中 中 否 优 买 32 中 高 是 良 买 63 老 中 否 优 不买 1 老 中 否 优 买 第6步计算选择节点 年龄信息增益=0.9537-0.6877 =0.2660 （1） 收入信息增益=0.9537-0.9361 =0.0176 （2） 年龄信息增益=0.9537-0.7811 =0.1726 （3） 信誉信息增益=0.9537-0.9048 =0.0453 （4） 决策树算法 计数 年龄 收入 学生 信誉 归类：买计算机？ 64 青 高 否 良 不买 64 青 高 否 优 不买 128 青 中 否 良 不买 64 青 低 是 良 买 64 青 中 是 优 买 年龄 青年 中年 老年 买/ 不买 买 买/ 不买 叶子 决策树算法 计数 年龄 收入 学生 信誉 归类：买计算机？ 64 青 高 否 良 不买 64 青 高 否 优 不买 128 青 中 否 良 不买 64 青 低 是 良 买 64 青 中 是 优 买 青年买与不买比例为128/256 S1(买)=128 S2（不买）= 256 S=S1+S2=384 P1=128/384 P2=256/384 I(S1,S2)=I(128,256) =-P1Log2P1-P2Log2P2 =-(P1Log2P1+P2Log2P2) =0.9183 决策树算法 计数 年龄 收入 学生 信誉 归类：买计算机？ 64 青 高 否 良 不买 64 青 高 否 优 不买 128 青 中 否 良 不买 64 青 低 是 良 买 64 青