（机器学习）第二章--概念学习-ZW REVISED-v5--2014.ppt

2003.12.18 机器学习-概念学习 作者：Tom Mitchell 译者：曾华军等 概念学习 第2章 概念学习和一般到特殊序 从特殊的训练样例中归纳出一般函数是机器学习的中心问题。 许多机器学习涉及到从特殊训练样例中得到一般概念。 本章介绍概念学习：给定某一类别的若干正例和反例，从中获得该类别的一般定义。 （例如，鸟的概念） 简介 概念，可被看作一个对象或事件集合，它是从更大的集合中选取的子集，或在这个较大集合中定义的布尔函数。 概念学习问题的定义 给定一个样例集合以及每个样例是否属于某个概念的标注，怎样推断出该概念的一般定义。又称从样例中逼近布尔函数。 概念学习任务 一个例子 任务T：学习目标概念“Aldo喜欢水上运动的日子”，表示为布尔函数EnjoySport。学习到以后，基于某天的各属性，预测EnjoySport的值。 一个训练样例集D，每个样例表示为属性和标注（YES/NO）的集合。 性能度量P，预测准确率。 概念学习任务（2） 概念学习任务（3） 假设:对目标概念的初步猜测和估计. 表示假设的形式 一个简单的形式，实例的各属性约束的合取式 令每个假设h为6个约束（或变量赋值）的向量，其语义是一个逻辑公式。例如h= Sunny, Cold, High, ?, ?, ?，语义是 （Sky=Sunny) ?(AirTemp=Cold)^…^(Forecast=?). 每个约束对应一个属性可取值范围，每个属性可取值为: ？任意本属性可接受的值 明确指定的属性值（如 AirTemp=Warm） ? 不接受任何值 假设公式要代入日子才能计算出真或假;(如h(x)=1) 假设的例子 ?, Cold, High, ?, ?, ? ?, ?, ?, ?, ?, ? // 所有的样例都是正例 ?, ?, ?, ?, ?, ? // 所有的样例都是反例 概念学习任务（4） 概念学习任务（4） EnjoySport概念学习任务 实例集X： 6元组集：可能的日子，每个日子由6个属性描述,是个6元组（或6元向量）; 假设集H：逻辑公式集合。每个假设h是个合取公式（有6个分量（分量的取值范围也大于实例），没有第7个分量，但是公式的取值h(x)可以计算出来）；每个假设描述为6个属性Sky，AirTemp，Humidity，Wind，Water和Forecast的值约束的合取。约束可以为“?”（表示接受任意值），“?”（表示拒绝所有值），或一特定值。 目标概念c: EnjoySport: X→{0, 1} /* c是一个理想的、定义出来的布尔函数，是目标概念的特征函数 */ 训练样例集D： 7元组集：目标函数的正例和反例（D不是X的子集，D每个元素有7个分量） 求解：H中的一假设h，使对于X中任意x，h(x)=c(x) 作为搜索的概念学习(1) 概念学习可以看作一个搜索的过程 搜索范围：假设的表示所隐含定义的整个空间 搜索目标：能够最好地拟合训练样例的假设 当假设的表示形式选定后，那么就隐含地为学习算法确定了所有假设的空间 剩下的任务就是搜索。 作为搜索的概念学习(2) 例子EnjoySport的假设空间 实例空间X包含了3×2×2×2×2×2=96种不同的实例。 在假设空间H中有5×4×4×4×4×4=5120种语法不同(syntactically distinct)的假设。 注意到包含有?符号的假设代表空实例集合，即它们将每个实例都分类为反例。因此，语义不同(semantically distinct)的假设只有1+4×3×3×3×3×3=973个。 这里的EnjoySport例子是一个非常简单的学习任务，它的假设空间相对较小且有限。多数实际的学习任务包含更大的、有时是无限的假设空间。在实际学习过程中我们怎样搜索这个假设空间呢? 请同学们考虑提出一个搜索策略。 假设的一般到特殊序 假设的一般到特殊序关系 考虑下面两个假设 h1=sunny, ?, ?, Strong, ?, ? h2=Sunny, ?, ?, ?, ?, ? 任何被h1划分为正例的实例都会被h2划分为正例，因此h2比h1更一般。 利用这个关系，无需列举所有假设，就能在无限的假设空间中进行彻底的搜索 假设的一般到特殊序（2） 关系“更一般”的精确定义 任给实例x和假设h，说x满足h，当且仅当h(x)=1 令hj和hk是在X上定义的布尔函数，称hj比hk更一般，当且仅当(?x?X)[(hk(x)=1)?(hj(x)=1)] 记为hj more_general_than_or_equal_to hk，或hj ?g hk 假设的一般到特殊序（3） “更一般”的严格情形 hj g hk，当且仅当，(hj ?g hk)?? (hk ?g hj) “更特殊”关