第三章 概念学习和一般到特殊序 机器学习 教学课件.pptVIP

* Yes Change Cool Strong High Warm Sunny 4 No Change Warm Strong High Cold Rainy 3 Yes Same Warm Strong High Warm Sunny 2 Yes Same Warm Strong Normal Warm Sunny 1 EnjoySport Forecast Water Wind Humidit AirTemp Sky Example 表 3.1 目标概念EnjoySport的正例和反例 第三章 概念学习和一般到特殊序 3.1 简介 定义：概念学习是指从有关某个布尔函数的输入输出训练样例中推断出该布尔函数。 3.2 概念学习任务 概念学习任务能被描述为：实例的集合、实例集合上的目标函数、候选假设的集合以及训练例的集合。 归纳学习假设：任一假设如果在足够大的训练样例集中很好地逼近目标函数，它也能在未见实例中很好地逼近目标函数。 3.3 作为搜索的概念学习 EnjoySport的实例空间： 3×2×2 ×2 ×2 ×2=96 假设空间：5 ×4 ×4×4×4×4=5120 1+4 ×3×3 ×3 ×3 ×3=973 假设的一般到特殊序 定义：令hj和hk为在X上定义的布尔函数。称hj more_general_than_or_equal_to hk（记作 hj≥g hk），当且仅当 已知： 实例集X:可能的日子由下面的属性描述： Sky（可能取值为Sunny,Cloudy和Rain) AirTemp(可取值为Warm和Cold) Humidity(可取值为Normal和High) Wind(可取值为Strong和Weak) Water(可取值为Warm和Cool) Forecast(可取值为Same和Change) 假设集H: 每个假设描述为6个属性Sky,AirTemp,Humidity,Wind,Water和Forecast的值约束的合取。约束可以为“？”（表示接受任意值），“?” （表示拒绝所有值），或一特定值 目标概念c: EnjoySport: X→{0,1} 训练样例集D:目标函数的正例和反例（见表2-1) 求解： H中的一假设h,使对于X中任意x, h(x)=c(x) · ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● 实例集 X 假设集 H h1 h2 h3 特殊 一般 1. 将h初始化为H中最特殊假设 2. 对每个正例x 对h的每个属性约束ai 如果x满足ai 那么不做任何处理 否则将h中ai替换为x满足的另一个更一般约束 3. 输出假设h 表3.3 FIND-S算法 3.4 FIND-S:寻找极大特殊假设 h??, ?, ?, ?, ?, ? 第一个例子: h ?Sunny,Warm,Normal,Strong,Warm,Same 第二个例子: h ?Sunny,Warm,?,Strong,Warm,Same 第二个例子: h ?Sunny,Warm,?,Strong,?,? 列表后消除算法 变型空间VersionSpace←包含H中所有假设的列表 对每个训练例x,c(x) 从变型空间中移出所有h(x) ≠c(x)的假设h 3. 输出VersionSpace中的假设列表 表 列表后消除算法 {Sunny,?,?,?,??,?,Warm,?,?,?,?} {Sunny,Warm,?,Strong,?,?} Sunny,?,?,Strong,?,? Sunny,Warm,?,?,?,? ?,Warm,?,Strong,?,? S: G: 将G集合初始化为H中极大一般假设 将S集合初始化为H中极大特殊假设 对每个训练例d,进行以下操作： 如果是一正例 从G中移去所有与d不一致的假设 对S中每个与d不一致的假设s 从s中移去s 把s的所有的极小泛化式h加入到S中，其中h满足 h与d一致，而且G的某个成员比一般 从S中移去所有这样的假设：它比S中另一假设更一般 如果是一个反例 从S中移去所有与d不一致的假设 对G中每个与d不一致的假设g 从G中移去g 把g的所有的极