第三章 概念学习和一般到特殊序1 机器学习 教学课件.pptVIP

* Yes Change Cool Strong High Warm Sunny 4 No Change Warm Strong High Cold Rainy 3 Yes Same Warm Strong High Warm Sunny 2 Yes Same Warm Strong Normal Warm Sunny 1 EnjoySport Forecast Water Wind Humidit AirTemp Sky Example 表 3.1 目标概念EnjoySport的正例和反例 第三章 概念学习和一般到特殊序 3.1 简介 定义：概念学习是指从有关某个布尔函数的输入输出训练样例中推断出该布尔函数。 3.2 概念学习任务 概念学习任务能被描述为：实例的集合、实例集合上的目标函数、候选假设的集合以及训练例的集合。 归纳学习假设：任一假设如果在足够大的训练样例集中很好地逼近目标函数，它也能在未见实例中很好地逼近目标函数。 3.3 作为搜索的概念学习 EnjoySport的实例空间： 3×2×2 ×2 ×2 ×2=96 假设空间：5 ×4 ×4×4×4×4=5120 1+4 ×3×3 ×3 ×3 ×3=973 假设的一般到特殊序 定义：令hj和hk为在X上定义的布尔函数。称hj more_general_than_or_equal_to hk（记作 hj≥g hk），当且仅当 已知： 实例集X:可能的日子由下面的属性描述： Sky（可能取值为Sunny,Cloudy和Rain) AirTemp(可取值为Warm和Cold) Humidity(可取值为Normal和High) Wind(可取值为Strong和Weak) Water(可取值为Warm和Cool) Forecast(可取值为Same和Change) 假设集H: 每个假设描述为6个属性Sky,AirTemp,Humidity,Wind,Water和Forecast的值约束的合取。约束可以为“？”（表示接受任意值），“?” （表示拒绝所有值），或一特定值 表3-2 EnjoySport 概念学习任务 目标概念c: EnjoySport: X→{0,1} 训练样例集D:目标函数的正例和反例（见表2-1) 求解： H中的一假设h,使对于X中任意x, h(x)=c(x) · ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● 实例集 X 假设集 H h1 h2 h3 特殊 一般 图3-1 实例?假设和more-general-than 关系 1. 将h初始化为H中最特殊假设 2. 对每个正例x 对h的每个属性约束ai 如果x满足ai 那么不做任何处理 否则将h中ai替换为x满足的另一个更一般约束 3. 输出假设h 表3.3 FIND-S算法 3.4 FIND-S:寻找极大特殊假设 h??, ?, ?, ?, ?, ? 第一个例子: h ?Sunny,Warm,Normal,Strong,Warm,Same 第二个例子: h ?Sunny,Warm,?,Strong,Warm,Same 第四个例子: h ?Sunny,Warm,?,Strong,?,? FIND-S算法存在的问题: 1)学习过程是否找到了惟一合适的假设(即目标本身) 2)如果有多个与训练样例一致的假设,FIND-S只能找到最特殊的 3)训练样例是否一致 4)如果有多个极大特殊怎么办 5)目标概念在假设空间不存在 3.5 变型空间和候选消除算法 3.5.1 表示 定义: 一个假设h与训练样例集合D一致,当且仅当对D中的每一样例x,c(x)都有h(x)=c(x)。 Consistent(h,D)?(?x,c(x)?D) h(x)=c(x) 变型空间：候选消除算法能够表示与训练样例一致的所有假设。在假设空间中的这一子集被称为关于假设空间H和样例D的变型空间(version space) 定义：关于假设空间H和训练样例集D的变型空间，标记为VSH,D,是H中与训练样例D一致的所有假设构成的子集。 VSH,D ?{h ?H|Consistent(h,D)} 列表后消除算法 变型空间VersionSpace←包含H中所有假设的列表 对每个训练例x,c(x) 从变型空间中移出所有h(x) ≠c(x)的假设h 3. 输出VersionSpace中的假设列表 表