实验二天气决策树.pptxVIP

实验二天气决策树会计学输入数据第1页/共12页例子编号属 性分类天况温度湿度风况1晴热大无N2晴热大有N3多云热大无P4雨中大无P5雨冷正常无P6雨冷正常有N7多云冷正常有P8晴中大无N9晴冷正常无P10雨中正常无P11晴中正常有P12多云中大有P13多云热正常无P14雨中大有N生成的决策树第2页/共12页算法第3页/共12页选择一个属性，把数据分割为K份。选择的准则：Information Gain原始数据的熵第4页/共12页本题中物体集C有十四个例子，9个正例，5个反例。于是：M(C)＝－9/14 *?log2?(9/14) －5/14 *?log2?(5/14) ＝0.?940 bits 选取属性“天况”的Information Gain 第5页/共12页计算各分支的熵“晴”的分支含2个正例3个反例，所需期望信息量为： M(天况为晴)＝－2/5 *?log2?(2/5)－3/5 *?log2?(3/5)　?　 ＝　0.?971 bits“多云”的分支，含4个正例0个反例： M(天况为多云)＝0 “雨”的分支，含３个正例２个反例： M(天况为雨)＝－3/5 *?log2?(3/5)－2/5 *?log2?(2/5) ＝　0.?971 bits 则以“天况”作划分后，对应决策树的信息量为：? B(C，“天况”)＝5/14 *?0.?971?＋4/14 * 0?＋5/14 *?0.?971 ＝0.?694 bits 选择天况做为判别条件的Information GainGain(C, “天况”) = M(C)－B(C，“天况”) ＝0.?940?－0.?694? ＝0.?247 bits 各属性Information Gain的比较第6页/共12页Gain(C, “天况”) ＝ M(C)－B(C，“天况”)　＝0.?940?－0.?694?＝0.?247 bitsGain(C, “温度”) ＝ M(C)－B(C，温度)　＝0.?940?－0.?911 ＝0.?029 bits Gain(C, “湿度”) ＝ M(C)－B(C，湿度)　＝0.?940?－0.?788 ＝0.152 bitsGain(C, “风况”) ＝ M(C)－B(C，风况)　＝0.?940?－0.?892＝0.?048 bits　生成的决策树第7页/共12页继续划分“晴”的分支第8页/共12页Gain(C晴, “温度”) ＝ M(天况为晴)－B(天况为晴，“温度”) ＝０.５７１Gain(C晴, “湿度”) ＝ M(天况为晴)－B(天况为晴，“湿度”) ＝０.９７１Gain(C晴, “风况”) ＝ M(天况为晴)－B(天况为晴，风况) ＝０.４２０ 继续划分“多云 ”的分支第9页/共12页全部为正例，无须划分。 继续划分“雨 ”的分支第10页/共12页Gain(C雨, “温度”) ＝ M(天况为雨)－B(天况为雨，“温度”) ＝０.０２０ Gain(C雨, “湿度”) ＝ M(天况为雨)－B(天况为雨，“湿度”) ＝０.０２０ Gain(C雨, “风况”) ＝ M(天况为雨)－B(天况为雨，风况) ＝０.９７１ 生成的决策树第11页/共12页