[工学]机器学习课件2.ppt

2003.12.18 机器学习-概念学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 现代机器学习理论主讲：张莉zhangli@mail.xidian.edu.cn 第2章 概念学习和一般到特殊序 提纲 概念学习 给定某一类别的若干正例和反例，从中获得该类别的一般定义 搜索的观点 在预定义的假设空间中搜索假设，使其与训练样例有最佳的拟合 利用假设空间的偏序结构 算法收敛到正确假设的条件 归纳学习的本质，从训练数据中泛化的理由 简介 许多机器学习涉及到从特殊训练样例中得到一般概念。 概念，可被看作一个对象或事件集合，它是从更大的集合中选取的子集，或在这个较大集合中定义的布尔函数。 概念学习问题的定义 问题：给定一个样例集合以及每个样例是否属于某个概念的标注，怎样推断出该概念的一般定义。又称从样例中逼近布尔函数 定义：概念学习是指从有关某个布尔函数的输入输出训练样例中推断出该布尔函数 概念学习任务 一个例子 目标概念，Aldo进行水上运动的日子，表示为布尔函数EnjoySport 任务目的，基于某天的各属性，预测EnjoySport的值 一个样例集，每个样例表示为属性的集合 概念学习任务（2） 概念学习任务（3） 表示假设的形式 一个简单的形式，实例的各属性约束(变量)的合取式 令每个假设为6个约束(变量)的向量，每个约束(变量)对应一个属性可取值范围，为 ？任意本属性可接受的值 明确指定的属性值 ? 不接受任何值 假设的例子 ?, Cold, High, ?, ?, ? ?, ?, ?, ?, ?, ? // 所有的样例都是正例 ?, ?, ?, ?, ?, ? // 所有的样例都是反例 EnjoySport概念学习任务 已知 实例集X 每个实例x由6个属性描述，每个属性的取值范围已确定 假设集H 每个假设h描述为6个属性的取值约束的合取 目标概念c 一个布尔函数，变量为实例 训练样例集D 目标函数（或目标概念）的正例和反例 求解 H中的一假设h，使对于X中任意x，h(x)=c(x) 术语定义 实例x和实例集X 概念和目标概念c 训练样例x和训练样例集D 正例，目标概念成员 反例，非目标概念成员 假设h和假设集H 机器学习的目标就是寻找一个假设h，使得对所有的h，都有h(x)=c(x) 归纳学习假设 什么是归纳学习？ 从特殊的样例得到普遍的规律 归纳 只能保证输出的假设能与训练样例相拟合 归纳假设的一个基本假定 对于未见实例最好的假设就是与训练数据最佳拟合的假设 归纳学习假设 任一假设如果在足够大的训练样例集中很好地逼近目标函数，它也能在未见实例中很好地逼近目标函数 作为搜索的概念学习 概念学习可以看作一个搜索的过程 搜索范围：假设的表示所隐含定义的整个空间 搜索目标：能够最好地拟合训练样例的假设 当假设的表示形式选定后，那么就隐含地为学习算法确定了所有假设的空间 例子EnjoySport的假设空间 假设的一般到特殊序 假设的一般到特殊序关系 考虑下面两个假设 h1=sunny, ?, ?, Strong, ?, ? h2=Sunny, ?, ?, ?, ?, ? 任何被h1划分为正例的实例都会被h2划分为正例，因此h2比h1更一般 利用这个关系，无需列举所有假设，就能在无限的假设空间中进行彻底的搜索 假设的一般到特殊序（2） 关系“更一般”的精确定义 任给实例x和假设h，说x满足h，当且仅当h(x)=1 令hj和hk是在X上定义的布尔函数，称hj比hk更一般，当且仅当(?x?X)[(hk(x)=1)?(hj(x)=1)] 记为hj more_general_than_or_equal_to hk，或hj ?g hk 假设的一般到特殊序（3） “更一般”的严格情形 hj g hk，当且仅当， “更特殊”关系的定义 hj ?g hk，当且仅当，hk ?g hj 以EnjoySport为例说明上面的定义 偏序的特点（区别于全序），全序上的搜索可以是二分法，偏序的搜索比无序简单，比全序复杂。 这个偏序关系的定义与目标概念无关 Find-S：寻找极大特殊假设 使用more_general_than偏序的搜索算法 从H中最特殊假设开始，然后在假设覆盖正例失败时将其一般化 表2-3 Find-S算法 将h初始化为H中最特殊假设 对每个正例x 对h的每个属性约束ai 如果x满足ai 那么不做任何处理 否则将h中ai替换为x满足的另一个更一般约束 输出假设h Find-S：寻找极大特殊假设(2) Find-S算法在例子EnjoySport上的应用 h??, ?, ?, ?, ?, ? h?Sunny, Warm, Normal, Strong, Warm, Same h?Sunny, Warm, ?, Strong, W