决策树(详细易懂,很多例子).pptVIP

（1）训练样本的信息值(基于类的比例） ? 训练样本（用来创建树的数据集）在包含9个yes和5个no的根节点上，对应于信息值 info([9,5])=0.940位 →总的信息 第二十八页，共五十页。 （2） 第一棵树，属性，各叶节点的信息值 ? 基于天气(outlook)的划分，在叶节点的yes和no类的个数分别是[2,3]，[4,0]，和[3,2]，而这些节点的信息值分别是： ? info([2,3])=0.971位 →sunny ? info([4,0])=0. 0位 →overcast ? info([3,2])=0.971位 →rain 第二十九页，共五十页。 （3）第一棵树，属性，导致的信息增益 计算平均信息值。 根据天气的树导致的信息增益为：基于类比例原来信息需求-基于天气属性划分之后得到的信息需求 gain(outlook)=info([9,5])-info([2,3],[4,0],[3,2]) =0.940-0.693=0.247位 第三十页，共五十页。 （4）依次，计算每棵树导致的信息增益 ?为每个属性计算信息增益 ? gain(outlook)=0.247位 ? gain(temperature)=0.029位 ? gain(humidity)=0.152位 ? gain(windy)=0.048位 第三十一页，共五十页。 （5）选择