第5章 数据仓库与数据挖掘的决策支持.pptVIP

条件熵： ⒉ 条件熵计算 属性A1取值vj时，类别ui的条件概率： A1=天气 取值 v1=晴，v2=多云，v3=雨 在A1处取值晴的例子5个，取值多云的例子4 个，取值雨的例子5 个，故： P（v1）=5/14 P（v2）=4/14 P（v3）=5/14 取值为晴的5 个例子中有2 个正例、3个反例，故： P（u1/v1）=2/5， P（u2/v1）=3/5 同理有：P（u1/v2）=4/4， P（u2/v2）=0 P（u1/v3）=2/5， P（u2/v3）=3/5 H(U/V)=(5/14)((2/5)log(5/2)+(3/5)log(5/3))+(4/14) ((4/4)log(4/4)+0)+(5/14)((2/5)log(5/2)+(3/5)log(5/3)) = 0.694bit ⒊ 互信息计算 对 A1=天气 处有： I（天气）=H（U）- H（U|V）= 0.94 - 0.694 = 0.246 bit 类似可得： I（气温）=0.029 bit I（湿度）=0.151 bit I（风）=0.048 bit ⒋ 建决策树的树根和分枝 ID3算法将选择互信息最大的