第2章_学习详解.pptVIP

概念的应用 判断是否是正例 判断是否满足S中的每个假设 判断是否是反例 判断是否不满足G中的每个假设 归纳偏置 有关候选消除算法的几个问题 如果目标概念不在假设空间中怎么办？ 是否可设计一个包含所有假设的空间来解决这一困难？ 假设空间的大小对于算法推广到未见实例的能力有什么影响？ 假设空间的大小对所需训练样例的数量有什么影响？ 归纳偏置（2） 一个有偏的假设空间 在EnjoySport这个例子中，假设空间限制为只包含属性值的合取。（有偏） 这一限制，导致假设空间不能够表示最简单的析取形式的目标概念。 归纳偏置（3） 无偏的学习器 为了保证目标概念在假设空间中，需要提供一个假设空间，它能表达所有的可教授概念。换言之，它能表达实例集X的所有子集。 问题：为什么2.3节中合取假设空间只能表示973个假设？ 归纳偏置（4） EnjoySport的无偏形式 带来的问题：概念学习算法无法从训练样例中泛化。 要想获得单个目标概念，就必须提供X中所有实例作为训练样例 使用2.6.3节讨论的部分学习的无效 归纳偏置（5） 无偏学习的无用性 归纳学习的一个基本属性：学习器如果不对目标概念的形式做预先的假定，它从根本上无法对未见实例进行分类 归纳学习需要的预先假定，称为归纳偏置 归纳偏置（6） 归纳偏置的精确定义 (Dc?xi) L(xi,Dc) 需要在Dc?xi上附加怎样的前提，以使L(xi,Dc) 能够演绎派生。 L的归纳偏置定义为前提集合B，使所有的新实例满足： (B?Dc?xi) ├ L(xi,Dc) 考虑对于实例集合X的概念学习算法L。令c为X上定义的任一概念，并令Dc为c的任意训练样例集合，L(xi,Dc) 表示经过Dc训练后L赋予实例xi的分类。L的归纳偏置是最小断言集合B，它使任意目标概念c和相应的训练样例Dc满足： ?xi?X[(B?Dc?xi)├L(xi,Dc)] 归纳偏置（6） 候选消除算法的归纳偏置 {c?H} Inductive Systems and Equivalent Deductive Systems(归纳与演绎) 归纳偏置（7） 3个有偏程度不同的归纳学习算法 机械式 候选消除算法 Find-S 一种算法的有偏性越强，它的归纳能力越强，可以分类更多的未见实例。 某些归纳偏置隐含在学习器中，有些表示为断言集合，可由学习器操作。 小结 主要内容 概念学习可看作搜索预定义潜在假设空间的过程; 假设的一般到特殊偏序结构可以定义在任何概念学习问题中，这种结构便于假设空间的搜索; Find-S算法使用一般到特殊序，在偏序结构的一个分支上执行一般到特殊搜索，寻找一个与样例一致的最特殊假设; 候选消除算法利用一般到特殊序，通过渐近地计算极大特殊假设集合和极大一般假设集合发现变型空间； 候选消除算法缺少健壮性，后面会描述一些学习算法，它们能够处理有噪声的数据和目标概念无法在假设空间中表示的情况 归纳学习算法隐含了归纳偏置，候选消除算法的偏置是：目标概念可以在假设空间中找到。输出的假设和对新实例的分类可由归纳偏置和训练样例演绎推出 思考题 2-1.解释为什么EnjoySport学习任务的假设空间的大小为973。如果增加一属性WaterCurrent，可取值Light、Moderate和Strong，那么可能的实例数和可能的假设数将会增加多少？推广到一般，增加一新属性A，有k种取值，实例数和假设数将会增加多少？ 思考题 2-2 在候选消除算法中，如果训练样例按EnjoySport例子中的逆序出现，请分步给出S和G边界集合。尝试对训练样例排序，以使EnjoySport例子中的所有S和G集合的中间结果的大小之和为最小？ Yes Change Cool Strong High Warm Sunny 4 No Change Warm Strong High Cold Rainy 3 Yes Same Warm Strong High Warm Sunny 2 Yes Same Warm Strong Normal Warm Sunny 1 EnjoySport Forecast Water Wind Humidity AirTemp Sky Example 思考题 2-3 实现Find-S算法和候选消除算法。验证它是否可成功地产生EnjoySport例子中各步骤结果。 * 假设空间的子集是有偏好排序的。偏好结构 * 图像匹配，字符识别，为什么说它是A而不是B * 该假设与实例一致性。 * 概念学习的重要方法：归纳学习 * 前面所说的偏序 * 训练样例必须正确才行 Date: * File: ML1.* Machine Learning Peng Kaixiang 2015. All rights reserved.