消除候选算法.ppt

* 最佳分类属性（2） Entropy(S)= -Pos*log2Pos - Neg*log2Neg Pos, Neg分别表示S中正负实例的比例,如3个正实例,6个负实例： Entropy[3+,6-]= -3/9*log2 (3/9)-6/9*log2 (6/9) = -1/3*(-1.585)-1/3*(-0.585)=0.9182 Entropy[1+,6-]= -1/7*log2 (1/7) - 6/7*log2 (6/7) =0.5617 最佳分类属性（2） Entropy[6+,6-]=-6/12*log2 (6/12)-6/12*log2 (6/12)=1 Entropy[0+,6-]=-0/6*log2 (0/6)-6/6*log2 (6/6)=0 Entropy[6+,0-]=-6/6*log2 (6/6)-0/6*log2 (0/6)=0 如果所有的实例都为正或都为负,则熵为0, 如Pos= Neg=1/2(最均匀,平均);有则熵为1 熵的取值是 [0,1],曲线如下 更一般地，如果目标属性具有c个不同的值，那么S相对于c个状态的分类的熵定义为 Entropy(S)= 其中Pi表示第i个输出所占训练窗口中总的输出数量的比例. 最佳分类属性 为了检测每个属性的重要性,可以通过每个属性的信息增益Gain来评估其重要性,对于属性A,假设其域值为(v1,v2,…vn),则训练实例中属性的信息增益定义如下: 其中Si表示S中属性A的值为Vi的子集,|Si|表示集合的势. 通过计算各属性的信息增益,可以选择信息量最大的属性作为决策树的根节点属性. 最佳分类属性 信息增益计算举例 首先计算熵 Entropy(S)= 然后计算每个属性A的增益 Gain ID3应用举例 Day Outlook Temp. Humidity Wind Play Tennis D1 Sunny Hot High Weak No D2 Sunny Hot High Strong No D3 Overcast Hot High Weak Yes D4 Rainy Mild High Weak Yes D5 Rainy Cool Normal Weak Yes D6 Rainy Cool Normal Strong No D7 Overcast Cool Normal Weak Yes D8 Sunny Mild High Weak No D9 Sunny Cold Normal Weak Yes D10 Rainy Mild Normal Strong Yes D11 Sunny Mild Normal Strong Yes D12 Overcast Mild High Strong Yes D13 Overcast Hot Normal Weak Yes D14 Rainy Mild High Strong No 其中9个yes正例， 5个no反例 计算信息增益选择最佳分类属性 Humidity High Normal [3+, 4-] [6+, 1-] S=[9+,5-] E=0.940 Gain(S,Humidity)=Entropy(S) -7/14*Entropy([3+,4-]) -7/14*Entropy([6+,1-]) =0.940-(7/14)*0.985 – (7/14)*0.592 =0.151 E=0.985 E=0.592 Entropy([9+,5-]) = -9/14 log2 9/14 – 5/14 log2 5/14= 0.940 其中属性Humidity=High样例有7个,3个正例，4个反例 Entropy([3+,4-]) = -3/7 log2 3/7 – 4/7 log2 4/7= 0.985 Humidity= Normal样例有7个,6个正例，1个反例 Entropy([6+,1-]) = -6/7 log2 6/7– 1/7 log2 1/7= 0.592 计算信息增益选择最佳分类属性 Wind Weak Strong [6+, 2-] [3+, 3-] S=[9+,5-] E=0.940 E=0.811 E=1.0 Gain(S,Wind)=Entropy(S) -8/14*Entropy([6+,2-]) -6/14*Entropy([3+,3-]) =0.940-(8/14)*0.811 – (6/14)*1.0 =0.048 Entropy([6+,2-]) = -6/8 log2 6/8– 2/8 log2 2/8= 0.811 Entropy([3+,3-