决策树、信息论、ID3、C45算法.pptxVIP

C4.5算法讲解;C4.5算法;决策树基础;决策树基础;决策树基础;决策树基础;决策树基础 ;决策树基础 ;怎么生成好的？;决策树基础;决策树基础（选择掌握）;决策树基础;信息论基础;信息论基础—先验概率;;信息论基础;信息论基础;信息论基础;信息论基础;信息论基础;信息论基础;信息论基础;信息论基础;信息论基础;信息论基础;信息论基础;;信息论基础;信息论基础;信息论基础;;信息论基础;;信息论基础;ID3算法;ID3算法;ID3算法 ;例题中各数据的属性及其取值分别为： 类别（事件X）：是、否；——x1，x2 分割属性Y1 头痛：是、否； 分割属性Y2 肌肉痛：是、否； 分割属性Y3 体温 ：很高、高、正常 选择全部数据记录，求先验熵（对类别）： P(x1)=4/7，P(x2)=3/7 H(X)= - ∑i=1,2P(xi) log2 P(xi)=0.985 bit 后验熵（对Y1）：y1 =是，y2=否 P(y1)=4/7， P(y2)=3/7 P(x1 | y1)=3/4 ，P(x2 | y1)=1/4 H(X |y1 )= -∑i=1,2P(xi | y1) log2P(xi | y1) =0.811 同理， H(X|y2 )=0.918;;ID3算法（选择掌握）;例题中各数据的属性及其取值分别为： 类别：P、N；——u1、u2 天气A1：晴、多云、雨；气温A2：冷、适中