C45算法生成決策树的研究.docVIP

C4.5算法生成决策树 1、基础知识 当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大，所以称之为大熵法最大熵法在数学形式上很漂亮，但是实现起来比较复杂，但把它运用于金融领域的诱惑也比较大，比如说决定股票涨落的因素可能有几十甚至上百种，而最大熵方法恰恰能找到一个同时满足成千上万种不同条件的模型。 以下图数据为例，介绍用C4.5建立决策树的算法。 表1 室外温度 室内温度 室外湿度 风力大小 机房楼层 机房朝向（0：阴，1：阳） 机房开启设备总额定功率（千瓦） 23 17 65 4 1 0 500 24 17 62 2 2 1 450 27 18 60 3 -1 0 300 24 19 58 3 2 0 300 25 18 52 2 1 1 450 26 18 50 5 -1 1 500 30 19 45 2 2 1 450 28 18 43 3 1 0 450 27 18 48 3 -1 0 500 29 18 40 4 1 0 500 ID3算法最初假定属性都是离散值，但在实际应用中，很多属性值都是连续的。C4.5对ID3不能处理连续型属性的缺点进行了改进。如果存在连续型的描述性属性，首先将连续型属性的值分成不同的