现代机器学习理论 概念学习和一般到特殊序.ppt

* * * * * * * * * * * * * * * * * * * * * * 。。。 * * * * * 算法举例（EnjoySport） 初始边界集合S0和G0 * 变型空间和候选消除算法（8） 训练样本 变型空间例 候选消除算法收敛到正确的假设 训练样例中没有错误 H中确实包含描述目标概念的正确假设 如果样例中存在错误 如果给定足够的训练数据，我们会发现S和G边界收敛得到一个空的变型空间 如果目标概念不能由假设表示方式所描述 相似情况出现 * 变型空间和候选消除的说明 下一步需要什么样的训练样例 一般来说，概念学习的最优查询策略，是产生实例以满足当前变型空间中大约半数的假设。这样，变型空间的大小可以在遇到每个新样例时减半，正确的目标概念就可在只用log2|VS|次实验后得到 查询实例 sunny, warm, Normal, Light, Warm, Same * 变型空间和候选消除（2） 变型空间例 怎样使用不完全学习概念 虽然图2-3的变型空间中仍包含多个假设，即目标概念还未学习到，但是仍然有可能对新样例进行一定可信度的分类 表2-6的例子 * 变型空间和候选消除（3） * 表2-6的例子 ? Same Warm Strong Normal Cold Sunny D ? Same Warm Light Normal Warm Sunny C ? Same Warm Light Normal Cold Rainy B ? Change Cool Strong Normal Warm Sunny A EnjoySport Forecast Water Wind Humidity AirTemp Sky Example 表2-6 待分新实例 变型空间例 有关候选消除算法的几个问题 如果目标概念不在假设空间中怎么办？ 是否可设计一个包含所有假设的空间来解决这一困难？ 假设空间的大小对于算法推广到未见实例的能力有什么影响？ 假设空间的大小对所需训练样例的数量有什么影响？ * 归纳偏置 无偏学习 一个有偏的假设空间 在EnjoySport这个例子中，假设空间限制为只包含属性值的合取。（有偏） 这一限制，导致假设空间不能够表示最简单的析取形式的目标概念。 * 归纳偏置（2） No Change Cool Strong Normal Warm Rainy 3 Yes Change Cool Strong Normal Warm Cloudy 2 Yes Change Cool Strong Normal Warm Sunny 1 EnjoySport Forecast Water Wind Humidity AirTemp Sky Example 无偏的学习器 为了保证目标概念在假设空间中，需要提供一个假设空间，它能表达所有的可教授概念（every teachable concept）;换言之，它能表达实例集X的所有子集。 幂集：2|X| 问题：为什么2.3节中合取假设空间只能表示973个假设？ * 归纳偏置（3） EnjoySport的无偏形式 带来的问题：概念学习算法无法从训练样例中泛化。 要想获得单个目标概念，就必须提供X中所有实例作为训练样例 使用2.6.3节讨论的部分学习的无效 * 归纳偏置（4） 偏置问题 无偏学习的无用性 归纳学习的一个基本属性：学习器如果不对目标概念的形式做预先的假定，它从根本上无法对未见实例进行分类 归纳学习需要的预先假定，称为归纳偏置（inductive bias） * 归纳偏置（5） 归纳偏置的精确定义 L的归纳偏置定义为前提集合B，使所有的新实例满足： 定义：考虑对于实例集合X的概念学习算法L。令c为X上定义的任一概念，并令Dc为c的任意训练样例集合， 表示经过Dc训练后L赋予实例xi的分类。L的归纳偏置是最小断言集合B，它使任意目标概念c和相应的训练样例Dc满足： * 候选消除算法的归纳偏置 {c?H} 3个有偏程度不同的归纳学习算法 机械式 候选消除算法 Find-S 归纳偏置 结论：有偏性越强，它的归纳能力越强 类别假定， 对假设排序 隐含在学习机中 * 归纳偏置（6） 概念学习可看作在预定义假设空间的搜索过程 假设的一般到特殊偏序结构可以定义在任何概念学习问题中，这种结构便于假设空间的搜索 Find-S算法使用一般到特殊序，在偏序结构的一个分支上执行一般到特殊搜索，寻找一个与样例一致的最特殊假设 * 小结 候选消除算法利用一般到特殊序，通过渐进地计算极大特殊假设集合和极大一般假设集合发现变型空间 候选消除算法缺少健壮性，第10章描述了几种基于一般到特殊序关系的概念学习算法，它们能够处理有噪声的数据和目标概念无法在假设空间中表示的情况 归纳学习