第2章-概念学习.pptVIP

**************************第2章

概念学习和一般到特殊序概念学习算法问题：找规律征兆与结果的联系战壕上晒太阳的猫解救：墨索里尼、机场人质《意大利工作》问题：预测Aldo进行水上运动的规律ExampleskyAirTempHumidityWindWaterForecastEnjoySport1SunnyWarmNormalStrongWarmSameYes2SunnyWarmHighStrongWarmSameYes3RainyColdHighStrongWarmChangeNo4SunnyWarmHighStrongCoolChangeYes前言中心问题：从特殊的训练样例中归纳出一般函数（规律）基本研究方法：给定某一类别的若干正例和反例，从中获得该类别的一般定义概念学习也可以看做一个搜索过程：在预定义的假设空间中搜索假设，使其与训练样例有最佳的拟合度2.1简介许多机器学习的问题涉及从特殊（训练样例）到一般（函数关系、规律）问题：怎样做？给出：一个样例集合，并且每个样例都有是否从属于某概念的标注求：自动求出该概念的一般定义概念学习定义：从关于某个布尔函数的输入输出训练中推断出该布尔函数2.2概念学习任务例子：Aldo进行水上运动的日子6个属性6个属性的取值6个属性的合取式假设的表示式概念学习的任务是需要学习如何判断哪些是使EnjoySport=yes的日子实例情况如前表2.2.1术语定义概念定义在一个实例（instance）集合之上实例集合记为X，代表所有可能的日子，每个日子有6个属性Sunny,Cold,High,Strong,Warm,Change?,Cold,High,?,?,??,?,?,?,?,??,?,?,?,?,?2.2.1术语定义待学习的概念或函数称为目标概念（targetconcept），记为c，c为定义在实例集X上的任意布尔函数：c：X-{0,1}当EnjoySport=Yes时，c(x)=1当EnjoySport=No时，c(x)=02.2.1术语定义学习目标概念时必须有一套训练样例（trainningexamples）每个样例为X中的一个实例x以及它的目标概念值c(x)正例（positiveexample）：c(x)=1反例（negativeexample）：c(x)=0训练样例记为D2.2.1术语定义给定目标概念c的训练样例集之后，学习器面临的问题就是假设或估计所有可能假设（allpossiblehypotheses）的集合记为HH是目标概念所考虑的范围H中每个假设h表示X上定义的布尔函数，即 h：X?{0,1}2.2.1术语定义模式识别的目标就是寻找一个假设h，使对于X中的所有x，h(x)=c(x)2.2.2归纳学习假设求取与目标概念c相同的假设h，是建立在整个实例集合的基础上的因此：结果只能保证与训练样例相拟合需要归纳学习假定：任一假设如果在足够大的训练样例集中很好地逼近目标函数，它也能在未见实例中很好地逼近目标函数2.3作为搜索的概念学习为了适应计算机的特点，概念学习可以看作一个搜索的过程：搜索范围是假设的表示所隐含定义的整个空间搜索的目标是寻找能最好的拟合训练样例的假设对于例子：Aldo进行水上运动的日子2.3作为搜索的概念学习假设的一般到特殊序：本质是集合关系h1=Sunny,?,?,Strong,?,?h2=Sunny,?,?,?,?,?定义：more_general_than_or_equal_to≥g实例假设关系图2.4FIND-S:寻找极大特殊假设从H中的最特殊假设开始，然后在该假设覆盖正例失败时将其进行一步一般化覆盖：假设对正例的判断正确时FIND-S算法：将h初始化为H中最特殊的假设每给出一个正例，处理一次h……输出假设h为最终结果每给出一个正例，处理一次h…对于给出的正例x，处理的对象是h的每个属性约束ai如果x满足ai，不做任何处理否则，将h中ai替换为下一个更一般约束2.4FIND-S:寻找极大特殊假设举例：P19总结：沿偏序链搜索：more_general_than从较特殊的假设逐渐转移到较一般的假设从集合关系图中可以直观看到搜索范围的扩大只考虑正例的算法：只要正确的目标包含于H中，且训练数据正确，则