6机器学习(2概念学习)(精品·公开课件).ppt

* Find-s中的假设空间搜索 x1=sunny, warm, normal, strong, warm, same, + x2=sunny, warm, high, strong, warm, same, + x3=rainy, cold, high, strong, warm, change, - x4=sunny, warm, high, strong, cool, change, + 实例 X 假设集 H x1 x2 h0 h1 h2,3 h0= ?, ?, ?, ?, ?, ? h1=sunny, warm, normal, strong, warm, same h2=sunny, warm, ?, strong, warm, same h3=sunny, warm, ?, strong, warm, same h4=sunny, warm, ?, strong, ?, ? 特殊 一般 x3 h4 x4 * Find-s的特点 Find-S算法演示了一种利用more_general_than偏序来搜索假设空间的方法，沿着偏序链，从较特殊的假设逐渐转移到较一般的假设。因此，每一步得到的假设都是在那一点上与训练样例一致的最特殊的假设。 Find-S的重要特点：对以属性约束的合取式描述的假设空间H，保证输出为H中与正例一致的最特殊的假设。 * Find-s存在问题 存在的问题 是否收敛到了正确的目标概念？ Find-s找到了与训练样例一致的假设，但无法确定它是否找到了唯一合适的假设（即目标概念本身）。或者说是否还有其它的假设 为什么要用最特殊的假设？ 如果有多个与D一致的假设，它只找到最特殊的假设 训练样例是否相互一致？ D中出现错误将严重破坏Find-s算法 如果有多个极大特殊假设怎么办？ * 归纳学习概念 概念学习定义 作为搜索的概念学习（搜索策略：偏序） Find-S：寻找极大特殊假设 变形空间和候选消除算法 归纳偏置 OUTLINE * 变形空间和候选消除算法 候选消除算法概述 概念学习的另一种方法，候选消除算法（candidate-elimination） Find-S算法的不足，输出的假设只是H中能够拟合训练样例的多个假设中的一个 候选消除算法输出与训练样例一致的所有假设的集合 候选消除算法在描述这一集合时不需要明确列举所有成员，利用more_general_than偏序结构，可以维护一个一致假设集合的简洁表示 * 变形空间和候选消除算法 候选消除算法的应用，化学质谱分析、启发式搜索的控制规则 候选消除算法的缺点，容错性能差 * 变形空间和候选消除算法 输出与训练样例一致的所有假设的集合 “一致”的定义 一个假设h与训练样例集合D一致，当且仅当对D中每一个样例x,c(x)都有h(x)=c(x)，即Consistent(h,D)?(?x, c(x)?D) h(x)=c(x) * 变形空间和候选消除算法 变形空间 VSH,D 关于H和D的变型空间，记为VSH,D，是假设空间H中与训练样例D一致的所有假设构成的子集 VSH,D ? {h ? H|Consistent(h,D)} version space S G * 变形空间示例 {Sunny, Warm, ?, Strong, ?, ?} S: {Sunny, ?, ?, ?, ?, ?,?, Warm, ?, ?, ?, ?} G: Sunny,?,?,Strong,?,? Sunny, Warm,?,?,?,? ?,Warm,?,Strong,?,? * 列表后消除算法 列表后消除算法：表示变型空间的一种方法是列出其所有成员 算法： 变型空间VSH,D ?包含H中所有假设的列表 对每个训练样例x,c(x) 从变型空间中移除所有h(x)?c(x)的假设 输出VSH,D中的假设列表 * 列表后消除算法 优点 保证得到所有与训练数据一致的假设 缺点 非常繁琐地列出H中的所有假设，大多数实际的假设空间无法做到 * 候选消除算法 变型空间的更简洁表示 变型空间被表示为它的极大一般和极大特殊的成员 这些成员形成了一般和特殊边界的集合，这些边界在整 个偏序结构中划分出变型空间。 关于假设空间H和训练数据D的一般边界G，是在H中与D相一致的极大一般成员的集合 关于假设空间H和训练数据D的特殊边界S，是在H中与D相一致的极大特殊成员的集合 * 候选消除算法——算法描述 初始化G和S 如果d是一个正例 从G中移去所有与d不一致的假设 对S中每个与d不一致的假设s 从S中移去s 把s的所有的极小泛化式h加入到S中，其中h满足 h与 d一致，而且G的某个成员比h更一般 从S中移去所有这样的假设：它比S中另一个假设更一般 如果d是一个反例 从S中移去所有与d不一致