08-2第八章机器学习-决策树ID3算法的实例解析.pptVIP

在一个口袋中，有100个球，其中1个是红球，另外99个是绿球，现在你随意抓一个球。先知告诉你将抓到的是绿球，你会觉得惊讶吗？但如果先知告诉你将抓到的是红球，则你觉得他的确是有神算能力。 如果某个人告诉你明天将下雨，你会觉得很惊讶吗？如果某个人告诉你明天天上将会掉下一只乌龟来，则又如何？ * 活动的熵 H(活动) = - (9/14)*lb (9/14) - (5/14)*lb (5/14) = 0.94 天气 温度 湿度 风速 活动 阴 炎热 高 弱 进行 雨 适中 高 弱 进行 雨 寒冷 正常 弱 进行 阴 寒冷 正常 强 进行 晴 寒冷 正常 弱 进行 雨 适中 正常 弱 进行 晴 适中 正常 强 进行 阴 适中 高 强 进行 阴 炎热 正常 弱 进行 晴 炎热 高 弱 取消 晴 炎热 高 强 取消 雨 寒冷 正常 强 取消 晴 适中 高 弱 取消 雨 适中 高 强 取消 已知天气时活动的条件熵 H(活动|天气)=5/14*H(活动|天气=晴)+4/14*H(活动|天气=阴) +5/14* H(活动|天气=雨) = (5/14)*0.971 + (4/14)*0 +(5/14)*0.971 = 0.693 温度 湿度 风速