机器学习 米切尔版 Tom M.mitchell 部分习题解答.pdfVIP

2010-2011-1 学期机器学习作业参考答案 机器学习作业参考答案 （第2--5章） 2.4 答：（a） S，4≤x≤6，3≤y≤5 （b）对于G，{3≤x≤8，2≤y≤7， 2≤x≤8，2≤y≤5} （c）能保证减小变型空间的点，（7，4）， 不能保证减小变型空间的点，（10，1） （d）需要提供的训练样本数目最小是6，其中2个正例，4个反例 证明：为使候选消除算法完全学习到目标概念，需要满足S=G=H=[a,b], [c,d] 所以G必须是一个有限区间，从而至少需要4个反例才能构造一个有限区间的假设 又因为S=G 所以S中必须有点的横坐标在a,b 上，纵坐标在c,d 上 从而S至少要有2个正例 所以，需要提供的训练样本数目最小是6 2.7 答：对于A={xi,i=1,2,……}假设存在与A一致的最特殊假设h1，axb，存在ax1,bxn a=(a+a)/2(a+x1)/2, b=(b+b)/2(b+xn)/2，所以存在h2与A一致，所以不存在 一个对任何正例集合都一致的最特殊假设。 改正： 假设空间 H 中的每个假设形式为 axb，其中 a、b 为任意实常数，x 代表该实例。 例如4.5≤x≤6.1这个假设将4.5和6.1之间的实例划分为正例，其他为反例。 对于A={xi,i=1,2,……}h0为x1≤x≤xn，既可与A一致，且是对A一致最特殊假 设。 3.4 （a）解：要画决策树，需要计算每个候选属性相对于整个样例集合S的信息增益，然 后选择信息增益最高的一个属性作为树节点上第一个被测试的属性。 Gain(S, Sky)= 0.8113 Gain(S, AirTemp)= 0.8113 Gain(S, Humidity)= 0.1226 Gain(S, Wind)=0 第 1 页（共 6 页） 2010-2011-1 学期机器学习作业参考答案 Gain(S, Water)= 0.1226 Gain(S, Forecast)= 0.3113 (b) （1）学习到的决策树只包含一个与训练样例一致的假设，使用变型空间算法得到 的变型空间包含了所有与训练样例一致的假设，但变型空间只含各属性合取式的集合， 如果目标函数不在假设空间中，即合取连接词不能表示最小的子式时，变型空间将会是 空的。 在本例中，学习到的决策树“Sky = Sunny ”与变型空间中的 G 集合中的假设 Sunny, ?,?,?,?,? 等价，“Air-Temp= Warm ”与G中的?,Warm,?,?,?,?等价。 学习到的决策树是用变型空间算法得到的变型空间是一种包含关系，前者是后者 的子集或者说是后者的一个元素， （2）在此例子中决策树等价于变型空间的一个成员，但是一般情况的决策树并不 一定等价于变型空间中的一个成员，因为决策树的判别有顺序，而假设空间中的元素的 各个性质没有顺序 (c) Gain(S, Sky)= 0.3219 Gain(S, AirTemp)= 0.3219 Gain(S, Humidity)= 0.0200 Gain(S, Wind)= 0.3219 Gain(S, Water)= 0.1710 Gain(S, Forecast)= 0.0200 显然第一个属性应该选择 Sky AirTemp Wind 若第一个属性为 Sky 则： Gain(Ssunny, AirTemp)= 0 Gain(Ssunny, Humidity)= 0.3113 Gain(Ssunny, Wind)= 0.8113 (最大) Gain(Ssunny, Water)= 0.1226 Gain(Ssunny, Forecast)= 0.1226 若第一个属性为 AirTemp 则： Gain(Swarm, Sky)= 0 Gain(Swarm, Humidity)= 0.3113 Gain(Swarm, Wind)= 0.8113 (最大) Gain(Swarm, Water)= 0.1226 Gain(Swarm, Fore