人工智能AI6章作业题解释.pptVIP

* 第 6 章 作 业 题 请用ID3算法完成其学习过程。 6.7 设训练例子集如下表所示： ? T F 6 ? T F 5 + F F 4 ? F T 3 + T T 2 + T T 1 x2 xl 分 类 属 性 序 号 6.7 解. 设根节点为S，尽管它包含了所有的训练例子，但却没有包含任何分类信息，因此具有最大的信息熵。即： H(S)= - (P(+)log 2P(+) - P(-)log2 P(-)) 式中 P(+)=3/6，P(-)=3/6 即有 H(S)= - ((3/6)*log (3/6) - (3/6)*log (3/6)) = -0.5*(-1) - 0.5*(-1) = 1 按照ID3算法，需要选择一个能使S的期望熵为最小的一个属性对根节点进行扩展，因此我们需要先计算S关于每个属性的条件熵： H(S|xi)= ( |ST| / |S|)* H(ST) + ( |SF| / |S|)* H(SF) 其中，T和F为属性xi的属性值，ST和SF分别为xi=T或xi=F时的例子集，|S|、| ST|和|SF|分别为例子集S、ST和SF 的大小。 第 6 章 作 业 题 下面先计算S关于属性x1的条件熵： 在本题中，当x1=T时，有： ST={1，2，3} 当x1=F时，有： SF={4，5，6} 其中，ST 和SF中的数字均为例子集S中例子的序号，且有|S|=6，| ST |=| SF |=3。 由ST可知： 　　　　P(+)=2/3， P(-)=1/3 则有： H(ST)= - (P(+)log2 P(+) - P(-)log2 P(- )) = - ((2/3)log2(2/3)- (1/3)log2(1/3)) ==0.9183 再由SF可知： 　　　　PSF(+)=1/3， PSF(-)=2/3 则有： H(SF)= - (PSF(+)log2 PST(+) - PSF(-)log2 PSF(- )) = - ((2/3)log2(2/3)- (1/3)log2(1/3)) = 0.9183 第 6 章 作 业 题 将H(ST)和H (SF)代入条件熵公式，有： H(S|x1)=(|ST|/|S|)H(ST)+ (|SF|/|S|)H(SF) =(3/6)﹡0.9183 + (3/6)﹡0.9183 =0.9183 下面再计算S关于属性x2的条件熵： 在本题中，当x2=T时，有： ST={1，2，5，6} 当x2=F时，有： SF={3，4} 其中，ST 和SF中的数字均为例子集S中的各个例子的序号，且有|S|=6，| ST |=4，| SF |=2。 由ST可知： 　　　　PST (+) = 2/4 PST (-) = 2/4 则有： H(ST)= - (P ST (+)log2 P ST (+) - P ST (-)log2 P ST (- )) = - ((2/4)log2(2/4) - (2/4)log2(2/4)) =1 第 6 章 作 业 题 再由SF可知： 　　　PSF (+)=1/2 PSF (-)=1/2 则有： H(SF)= - (P(+)log2 P(+) - P(-)log2 P(- )) = - ((1/2)log2(1/2)- (1/2)log2(1/2)) =1 将H(ST)和H (SF)代入条件熵公式，有： H(S|x2)=(|ST|/|S|)H(ST)+ (|SF|/|S|)H(SF) =(4/6)﹡1 + (2/6)﹡1 =1 可见，应该选择属性x1对根节点进行扩展。用x1对S扩展后所得到的部分决策树如下图所示。 第 6 章 作 业 题 *