机器学习习题答案.doc

2.5 （题目略） (a). 第一步：S0 {(Q Q Q Q ), (Q Q Q Q)} G0 {(? ? ? ?), (? ? ? ?)} 第二步：S1 {(male brown tall US), (female black short US) G1 {(? ? ? ?), (? ? ? ?)} 第三步：S2 {(male brown ? ?), (female black short US) G2 {(? ? ? ?), (? ? ? ?)} 第四步：S3 {(male brown ? ?), (female black short US) G3 {(male ? ? ?), (? ? ? ?)，? ? ? ?,? ? ? US} 第五步：S4 {(male brown ? ?), (female ? short ?) G4 {(male ? ? ?), (? ? ? ?)} (b).假设中的每个属性可以取两个值，所以与题目例题一致的假设数目为： （2*2*2*2）*（2*2*2*2） = 256 (c). 这个最短序列应该为8， 如果只有一个训练样例，则假设空间有个假设，我们针对每一个属性来设置训练样例，使每次的假设空间减半。则经过8次训练后，可收敛到单个正确的假设。 female,blanck,short,Portuguese,female,blonde,tall,Indian male,brown,short,Portuguese,female,blonde,tall,Indian male,blanck,tall,Portuguese,female,blonde,tall,Indian male,blanck,short,US,female,blonde,tall,Indian male,blanck,short,Portuguese,male,blonde,tall,Indian male,blanck,short,Portuguese,female,black,tall,Indian male,blanck,short,Portuguese,female,blonde,short,Indian male,blanck,short,Portuguese,female,blonde,tall,US (d). 若要表达该实例语言上的所有概念，那么我们需要扩大假设空间，使得每个可能的假设都包括在内，这样假设空间就远远大于256，而且这样没法得到最终的没法收敛，因为对每一个未见过的训练样例，投票没有任何效果，因此也就没有办法对未见样例分类。所以不存在一个最优的查询序列。 2.6 完成变型空间表示定理的证明（定理2.1） 定理2.1：变型空间表示定理 领X为一任意的实例集合，H为X上定义的布尔假设的集合。令c：X({0,1}为X上定义的任一目标概念，并令D为任一训练样例的集合{x, c(x)}。对所有的X，H，c，D以及良好定义的S和G： 证明：对VSH，D中任一h： ①当h∈S时，取s＝h，则有h≥gs成立 ②当h(S时，即 ((h1(H）[(hgh1)∧Consistent(h1,D)] 若h1(S，显然h≥gs成立； 否则有 ((h2(H）[(h1gh2)∧Consistent(h2,D)] 同样或者h2(S，则hgh1≥gs成立；或者 ((h3(H）[(h2gh3)∧Consistent(h3,D)] 如此下去，必存在一个序列hgh1gh2g…ghn(S 故也有 ((s(S)h≥gs 同理，对VSH，D中任一h： ①当h(G时，取g＝h，则有g≥gh成立 ②当h(G时，即 ((h1(H）[(h1gh)∧Consistent(h1,D)] 若h1(G，显然g≥gh成立； 否则有 ((h2(H）[(h2gh1)∧Consistent(h2,D)] 同样或者h2(G，则g=h2gh1≥gh成立；或者 ((h3(H）[(h3gh2)∧Consistent(h3,D)] 如此下去，必存在一个序列g=hng …gh2gh1gh，故也有 ((g(G)g≥gh 2.9 （题目略） 对每个属性进行如下操作： 令ai=T，遍历样例集，如果样例全部为正例，则向假设中添加ai=T， 否则，令ai=F，遍历样例集，如果样例全部为正例，则向假设中添加ai=F, 否则，舍弃ai，不向假设中添加ai。 时间最大复杂度：2*n*样例集大小 3.2 3.4 假设u1：EnjoySport=Yes ，u2：EnjoySport=No H(U)=-P(u1) log P(u1) – P(u2) log P(u2)= -(3/4)l