AI概念学习.ppt

* 概念学习任务 形式化描述 已知 实例集X 每个实例x由6个属性描述，每个属性的取值范围已确定 假设集H 每个假设h描述为6个属性的取值约束的合取 （∩） 目标概念c 一个布尔函数，变量为实例，即： c:x-{1,0} 训练样例集D 目标函数（或目标概念）的正例和反例 求解 H中的一假设h，使对于X中任意x，h(x)=c(x) * 术语定义 实例x 实例集X 概念 目标概念c 训练样例x 训练样例集D 正例，目标概念成员 反例，非目标概念成员 假设h 假设集H 机器学习的目标就是寻找一个假设h，使得对所有的h，都有h(x)=c(x) * 归纳学习假设 什么是归纳学习？ 从特殊的样例得到普遍的规律 归纳 只能保证输出的假设能与训练样例相拟合 归纳假设的一个基本假定 对于未见实例最好的假设就是与训练数据最佳拟合的假设 归纳学习假设 任一假设如果在足够大的训练样例集中很好地逼近目标函数，它也能在未见实例中很好地逼近目标函数。 * 大纲 引言：学习智能体 机器学习基本概念 概念学习 概念学习的定义 一个例子 作为搜索问题的概念学习 FIND-S 候选消除算法 * 作为搜索的概念学习 概念学习可以看作一个搜索的过程 搜索范围：假设的表示所隐含定义的整个空间 搜索目标：能够最好地拟合训练样例的假设 当假设的表示形式选定后，那么就隐含地为学习算法确定了所有假设的空间 例子EnjoySport的假设空间，如果属性Sky有3种可能的值，而AirTemp、Humidity、Wind、Water和 Forecast都只有两种可能值 实例空间X：包含3×2×2×2×2×2=96种不同的实例 假设空间H 包含5×4×4×4×4×4=5120种语法不同的假设 由于：包含有?符号的假设将每个实例都分类为反例。因此，语义不同的假设只有1+4×3×3×3×3×3=973个。 * 假设的一般到特殊序 假设的一般到特殊序关系 考虑下面两个假设 h1=sunny, ?, ?, Strong, ?, ? h2=Sunny, ?, ?, ?, ?, ? 任何被h1划分为正例的实例都会被h2划分为正例，因此h2比h1更一般 * 假设的一般到特殊序 关系“更一般”的精确定义 任给实例x和假设h，说x满足h，当且仅当h(x)=1 令hj和hk是在X上定义的布尔函数，称hj比hk更一般，当且仅当(?x?X)[(hk(x)=1)?(hj(x)=1)] 记为hj more_general_than_or_equal_to hk，或hj ?g hk “更一般”的严格情形 hj g hk，当且仅当，(hj ?g hk)?? (hk ?g hj) “更特殊”关系的定义 hj ?g hk，当且仅当，hk ?g hj * 大纲 引言：学习智能体 机器学习基本概念 概念学习 概念学习的定义 一个例子 作为搜索问题的概念学习 FIND-S 候选消除算法 * Find-S：寻找极大特殊假设 使用more_general_than偏序的搜索算法 从H中最特殊假设开始，然后在假设覆盖正例失败时将其一般化 Find-S算法 将h初始化为H中最特殊假设 对每个正例x 对h的每个属性约束ai 如果x满足ai 那么不做任何处理 否则将h中ai替换为x满足的另一个更一般约束 输出假设h * Find-S：寻找极大特殊假设 Find-S算法在例子EnjoySport上的应用 h??, ?, ?, ?, ?, ? h?Sunny, Warm, Normal, Strong, Warm, Same h?Sunny, Warm, ?, Strong, Warm, Same 遇到反例，h不变（因为h已经能够正确地识别反例） h?Sunny, Warm, ?, Strong, ?, ? * Find-S：寻找极大特殊假设 * Find-S：寻找极大特殊假设 Find-S的特点 对以属性约束的合取式描述的假设空间H，保证输出为H中与正例一致的最特殊的假设 存在的问题 是否收敛到了正确的目标概念？ 为什么要用最特殊的假设？ 训练样例是否相互一致？ 如果有多个极大特殊假设怎么办？ * 大纲 引言：学习智能体 机器学习基本概念 概念学习 概念学习的定义 一个例子 作为搜索问题的概念学习 FIND-S 候选消除算法 * 变型空间和候选消除算法 候选消除算法 动机 Find-S算法的不足，输出的假设只是H中能够拟合训练样例的多个假设中的一个 候选消除算法输出与训练样例一致的所有假设的集合 * 变型空间和候选消除算法（2） “一致”的定义 一个假设h与训练样例集合D一致，当且仅当对D中每一个样例x,c(x)都有h(x)=c(x)，即Consistent(h,D)?(?x,c(x)?D)h(x)=c(x) 变型空间