机器学习-习题答案.docxVIP

机器学习-习题答案 2.5 （题目略） (a). 第一步：S0 {} G0 {} 第二步：S1 { G1 {} 第三步：S2 { G2 {} 第四步：S3 { G3 {， ? ? ?, ? ? US} 第五步：S4 { G4 {} (b).假设中的每个属性可以取两个值，所以与题目例题一致的假设数目为： （2*2*2*2）*（2*2*2*2） = 256 (c). 这个最短序列应该为8，2?256 如果只有一个训练样例，则假设空间有2?256个假设，我们针对每一个属性来设置训练样例，使每次的假设空间减半。则经过8次训练后，可收敛到单个正确的假设。 , , , , , , , , (d). 若要表达该实例语言上的所有概念，那么我们需要扩大假设空间，使得每个可能的假设都包括在内，这样假设空间就远远大于256，而且这样没法得到最终的没法收敛，因为对每一个未见过的训练样例，投票没有任何效果，因此也就没有办法对未见样例分类。所以不存在一个最优的查询序列。 88 2.6 完成变型空间表示定理的证明（定理2.1） 定理2.1：变型空间表示定理 领X为一任意的实例集合，H为X上定义的布尔假设的集合。令c：X?{0,1}为X上定义的任一目标概念，并令D为任一训练样例的集合{}。对所有的X，H，c，D以及良好定义的S和G： VSHD?{h?H|(?s?S)(?g?G)(g?gh?gs} 证明：对VSH，D中任一h： ①当h∈S时，取s＝h，则有h≥gs成立 ②当h?S时，即 (?h1?H）[(hgh1)∧Consistent(h1,D)] 若h1?S，显然h≥gs成立； 1 否则有 (?h2?H）[(h1gh2)∧Consistent(h2,D)] 同样或者h2?S，则hgh1≥gs成立；或者 (?h3?H）[(h2gh3)∧Consistent(h3,D)] 如此下去，必存在一个序列hgh1gh2g…ghn?S 故也有 (?s?S)h≥gs 同理，对VSH，D中任一h： ①当h?G时，取g＝h，则有g≥gh成立 ②当h?G时，即 (?h1?H）[(h1gh)∧Consistent(h1,D)] 若h1?G，显然g≥gh成立； 否则有 (?h2?H）[(h2gh1)∧Consistent(h2,D)] 同样或者h2?G，则g=h2gh1≥gh成立；或者 (?h3?H）[(h3gh2)∧Consistent(h3,D)] 如此下去，必存在一个序列g=hng …gh2gh1gh，故也有 (?g?G)g≥gh 2.9 （题目略） 对每个属性进行如下操作： 令ai=T，遍历样例集，如果样例全部为正例，则向假设中添加ai=T， 否则，令ai=F，遍历样例集，如果样例全部为正例，则向假设中添加ai=F, 否则，舍弃ai，不向假设中添加ai。 时间最大复杂度：2*n*样例集大小 3.2 Entropy(S)???pilog2pi??0.5log20.5?0.5log20.5?1i?1c Gain(S?A)?Entropy(S)?|Sv|Entropy(Sv)?|s|v?Values(A)?1?4Entropy(ST)?2Entropy(SF)66?1?4*1?2*1?066 3.4 假设u1：EnjoySport=Yes ，u2：EnjoySport=No H(U)=-P(u1) log P(u1) ?C P(u2) log P(u2)= -(3/4)log(3/4)-(1/4)log(1/4) 对Sky假设v1：Sky=Sunny v2：Sky=Rainy H(U|v1)=-P(u1|v1) log P(u1|v1)-P(u2|v1) log P(u2|v1) = -1*log(1)-(0)*log(0)=0 H(U|v2)=-P(u1|v2) log P(u1|v2)-P(u2|v2) log P(u2|v2) = -(0)*log(0)-(1)*log(1)=0 H(U|V)=P(v1) H(U|v1)+P(v2) H(U|v2)=(3/4)*0+(1/4)*0=0 所以I(U, V)=H(U)-H(U|V)=H(U) 此时显然信息增益最大，所以Sky作为决策树根节点，又由于对Sky取两个值对应的EnjoySport值都是确定的，因此可画出决策树为： 2