人工智能-7机器学习方法演示幻灯片.pptVIP

最佳分类属性（2） Entropy(S)= -Pos*log2Pos - Neg*log2Neg Pos, Neg分别表示S中正负实例的比例,如3个正实例,6个负实例： Entropy[3+,6-]= -3/9*log2 (3/9)-6/9*log2 (6/9) = -1/3*(-1.585)-1/3*(-0.585)=0.9182 Entropy[1+,6-]= -1/7*log2 (1/7) - 6/7*log2 (6/7) =0.5617 最佳分类属性（2） Entropy[6+,6-]=-6/12*log2 (6/12)-6/12*log2 (6/12)=1 Entropy[0+,6-]=-0/6*log2 (0/6)-6/6*log2 (6/6)=0 Entropy[6+,0-]=-6/6*log2 (6/6)-0/6*log2 (0/6)=0 如果所有的实例都为正或都为负,则熵为0, 如Pos= Neg=1/2(最均匀,平均);有则熵为1 熵的取值是 [0,1],曲线如下 更一般地，如果目标属性具有c个不同的值，那么S相对于c个状态的分类的熵定义为 Entropy(S)= 其中Pi表示第i个输出所占训练窗口中总的输出数量的比例. 最佳分类属性 为了检测每个属性的重要性,可以通过每个属性的信息增益Gain来评估其重要性,对于属性A,假设其域值为(v1,v2,…vn),则训练实例中属性的信息增益定义如下: 其中Si表示S中属性A的值为Vi的子集,|Si|表示集合的势. 通过计算各属性的信息增益,可以选择信息量最大的属性作为决策树的根节点属性. 最佳分类属性 信息增益计算举例 首先计算熵 Entropy(S)= 然后计算每个属性A的增益 Gain 变型空间和候选消除算法（6） 变型空间定理： 令X为一任意的实例集合，H为X上定义的布尔假设的集合。令c: X?{0,1}为X上定义的任一目标概念，并令D为任一训练样例集合{x,c(x)}。对所有的X, H, c, D以及定义的S和G： VSH,D={h?H|(?s?S)( ?g?G)(g?gh?gs)} 变型空间中的任意假设h一定更一般特殊边界S而更特殊一般边界G 变型空间和候选消除算法（7） 候选消除算法（candidate-elimination ） 初始化G和S 如果d是一个正例 从G中移去所有与d不一致的假设 对S中每个与d不一致的假设s 从S中移去s 把s的所有的极小泛化式h加入到S中，其中h满足 h与 d一致，而且G的某个成员比h更一般 如果d是一个反例 从S中移去所有与d不一致的假设 对G中每个与d不一致的假设g 从G中移去g 把g的所有的极小特殊化式h加入到G中，其中h满足 h与d一致，而且S的某个成员比h更特殊 从G中移去所有这样的假设：它比G中另一个假设更特殊 变型空间和候选消除的说明 候选消除算法收敛到正确的假设 训练样例中没有错误 H中包含描述目标概念的正确假设 如果样例中存在错误 如果给定足够的训练数据，S和G边界收敛得到一个空的变型空间 如果目标概念不能由假设表示方式所描述 相似情况出现 变型空间和候选消除的说明（2） 下一步需要什么样的训练样例 一般来说，概念学习的最优查询策略，是产生实例以满足当前变型空间中大约半数的假设。这样，变型空间的大小可以在遇到每个新样例时减半，正确的目标概念就可在只用log2|VS|次实验后得到。 变型空间和候选消除的说明（3） 怎样使用不完全学习概念 即便变型空间中包含多个假设，即目标概念还未学习到，但是仍然有可能对新样例进行一定可信度的分类。 归纳偏置 有关候选消除算法的几个问题 如果目标概念不在假设空间中怎么办？ 是否可设计一个包含所有假设的空间来解决这一困难？ 假设空间的大小对于算法推广到未见实例的能力有什么影响？ 假设空间的大小对所需训练样例的数量有什么影响？ 归纳学习需要的预先假定，称为归纳偏置 归纳偏置（2） 一个有偏的假设空间 在EnjoySport这个例子中，假设空间限制为只包含属性值的合取。（肯定有偏） 因为这一限制，导致假设空间不能够表示最简单的析取形式的目标概念。 归纳偏置（3） 无偏的学习器 为了保证目标概念在假设空间中，需要提供一个假设空间，它能表达所有的可教授概念。换言之，它能表达实例集X的所有子集。 EnjoySport的无偏形式 带来的问题：概念学习算法无法从训练样例中泛化。 要想获得单个目标概念，就必须提供X中所有实例作为训练样例 归纳偏置（4） 无偏学习的无用性 归纳学习的一个基本属性：学习器如果不对目标概念的形式做预先的假定，它从根本上无法对未见实例进行分类 小 结 概念学习可看作搜索预定义潜在假设