从中获得该类别的一般定义。搜索的观点在预定义的假设课件.pptVIP

变型空间和候选消除算法（6） 变型空间表示定理，令X为一任意的实例集合，H为X上定义的布尔假设的集合。令c: X?{0,1}为X上定义的任一目标概念，并令D为任一训练样例集合{x,c(x)}。对所有的X, H, c, D以及良好定义的S和G： VSH,D={h?H|(?s?S)( ?g?G)(g?gh?gs)} 证明：只需证明：1）每一个满足上式右边的h都在VSH,D中，2）VSH,D的每个成员都满足都满足等式右边。… 变型空间和候选消除算法（7） 候选消除算法 初始化G和S 如果d是一个正例 从G中移去所有与d不一致的假设 对S中每个与d不一致的假设s 从S中移去s 把s的所有的极小泛化式h加入到S中，其中h满足h与 d一致，而且G的某个成员比h更一般 从S中移去所有这样的假设：它比S中另一个假设更一般 如果d是一个反例 从S中移去所有与d不一致的假设 对G中每个与d不一致的假设g 从G中移去g 把g的所有的极小特殊化式h加入到G中，其中h满足 h与d一致，而且S的某个成员比h更特殊 从G中移去所有这样的假设：它比G中另一个假设更特殊 变型空间和候选消除算法（8） 算法举例 {Sunny Warm Normal Strong Warm Same} {Sunny Warm ? Strong Warm Same} S1: S2: {Sunny ? ? ? ? ? ? Warm ? ? ? ? ? ? ? ? ? Same} G3: S2 S3 : {Sunny Warm ? Strong ? ?} S4: {Sunny ? ? ? ? ? ? Warm ? ? ? ?} G4: G0 G1: G0 G1 G2 : 图2-7 最终变型空间 变型空间和候选消除的说明 候选消除算法收敛到正确的假设 训练样例中没有错误 H中确实包含描述目标概念的正确假设 如果样例中存在错误 如果给定足够的训练数据，我们会发现S和G边界收敛得到一个空的变型空间 如果目标概念不能由假设表示方式所描述 相似情况出现 概念学习 给定某一类别的若干正例和反例，从中获得该类别的一般定义。 搜索的观点 在预定义的假设空间中搜索假设，使其与训练样例有最佳的拟合。 利用假设空间的偏序结构 算法收敛到正确假设的条件 归纳学习的本质，从训练数据中泛化的理由 第2章 概念学习和一般到特殊序 简介 许多机器学习涉及到从特殊训练样例中得到一般概念。 概念，可被看作一个对象或事件集合，它是从更大的集合中选取的子集，或在这个较大集合中定义的布尔函数。 概念学习问题的定义 给定一个样例集合以及每个样例是否属于某个概念的标注，怎样推断出该概念的一般定义。又称从样例中逼近布尔函数。 概念学习是指从有关某个布尔函数的输入输出训练样例中推断出该布尔函数。 概念学习任务 一个例子 目标概念，Aldo进行水上运动的日子，表示为布尔函数EnjoySport 任务目的，基于某天的各属性，预测EnjoySport的值 一个样例集，每个样例表示为属性的集合 概念学习任务（2） Yes Change Cool Strong High Warm Sunny 4 No Change Warm Strong High Cold Rainy 3 Yes Same Warm Strong High Warm Sunny 2 Yes Same Warm Strong Normal Warm Sunny 1 EnjoySport Forecast Water Wind Humidity AirTemp Sky Example 表2-1 目标概念EnjoySport的训练样例 概念学习任务（3） 表示假设的形式 一个简单的形式，实例的各属性约束的合取式 令每个假设为6个约束（或变量）的向量，每个约束对应一个属性可取值范围，为 ？任意本属性可接受的值 明确指定的属性值 ? 不接受任何值 假设的例子 ?, Cold, High, ?, ?, ? ?, ?, ?, ?, ?, ? // 所有的样例都是正例 ?, ?, ?, ?, ?, ? // 所有的样例都是反例 概念学习任务（4） EnjoySport概念学习任务 已知 实例集X 每个实例x由6个属性描述，每个属性的取值范围已确定 假设集H 每个假设h描述为6个属性的取值约束的合取 目标概念c 一个布尔函数，变量为实例 训练样例集D 目标函数（或目标概念）的正例和反例 求解 H中的一假设h，使对于X中任意x，h(x)=c(x) 术语定义 实例x 实例集X 概念 目标概念c 训练样例x 训练样例集D 正例，目标概念成员 反例，非目标概念成员 假设h 假设集H 机器学习的目标就是寻找一个假设h，使得对所有的h，都有h(x)=c(x) 归纳学习假设 什么是归纳学习？ 从特殊