机器学习教案.pptVIP

2 概念学习(Concept Learning) 2.1 概念学习基础 2.2 寻找极大特殊假设算法 2.3 候选消去算法 2.4 候选消去算法的讨论 2.5 归纳偏置 Problem 2.1 概念学习基础 2.1.1 从例子开始 2.1.2 基本概念 2.1.3 假设空间和归纳学习 2.1.1 从例子开始 例子 需要学习的概念：Aldo水上运动的日子（Sport-Day) 训练样例 2.1.1 从例子开始 Sport-Day概念学习任务 已知 1）实例集X：可能的日子，每个日子由下列属性描述： 天气：{晴朗，多云，下雨}； 气温：{暖，冷} 湿度：{正常，高}； 风力：{强，弱} 水温：{暖，凉}； 天气预报：{相同，变化} 2）假设集H：假设描述由六元组组成，分别对应6个属性，是6个属性的值约束的合取式。值约束有三种形式：1）确定的值；2）变量？；3）拒取?。 2.1.1 从例子开始 3）目标概念c（Sport-Day）：X ? {Yes，No} 4）训练样例集：见前表。 求解 H中的一个假设h，使得对于X中的任意x，有 h(x) = c(x) 2.1.2 基本概念 定义1 概念学习 将某个布尔函数的输入和输出作为训练样例，从中推导出该布尔函数。 定义2 概念 设X为对象的集合，概念C定义为X的子集，即C ? X。C中每个元素称为概念C的实例。 定义3 目标函数c c：X ? {T,F}。即若c(x)=T，则x?C。 定义4 训练样例集D 由序偶 (d(x),c(x))组成的集合，其中d(x)为实例x的描述，x?X。有时直接用x表示实例描述。 正例集 D+ = {x|c(x)=T}。 反例集 D- = {x|c(x)=F}。 2.1.2 基本概念 概念描述CD 某种表示法语言的合法语句。常用的表示法为特征向量。如，在Aldo水上锻炼的日子问题中，用属性元组 （天气，气温，湿度，风力，水温，天气预报) 刻画问题（概念及实例）。该6元组允许的值构成一个特征空间。语法合法的元组是一个概念描述，如 （？，暖，？，强，暖，相同） 它覆盖特征空间的一个区域。只含一个点的描述为实例描述，如 （晴朗，暖，正常，强，暖，相同） 注意，实例描述是概念描述的特例。 属性A 实例x在属性A上的取值记为A(x)：X→VA 集合D中其属性A的值为v的元素记为Dv，即 Dv = {x|x?D ? A(x)= v} VA为属性A的值集。 2.1.3 假设空间和归纳学习 定义5 假设空间H H是由概念描述组成的集合。它确定了目标函数的范围。需要学习的假设h?H是目标函数c的一个定义。 假设空间包含： 1）假设，即概念描述； 2）实例描述。 例子：Aldo进行水上运动的日子 （天气，气温，湿度，风力，水温，天气预报) 实例空间的元素：3×2×2×2×2×2=96 假设空间的元素：5×4×4×4×4×4=5120（语法不同） 语义不同的假设个数：1＋4×3×3×3×3×3=973 2.1.3 假设空间和归纳学习 归纳学习的基本假设 概念学习是一类特殊的归纳学习。归纳学习从训练样例集学习一个概念描述h（目标函数c的定义）。而已知的仅仅是c在训练样例上的值。这只能保证假设与训练样例拟合。因此，需要一个基本假设。 任一假设如果在足够大的训练样例集中很好逼近目标函数，则它在其他实例中也能很好逼近目标函数。 2.1.3 假设空间和归纳学习 定义6 一般性关系 ? 设hi和hj为定义在X上的两个布尔函数（概念描述）。hi比hj更一般或等价（ hi ? hj），当且仅当 (?x?X)((hj(x)=1 ? hi(x)=1)) 这是假设空间的一种偏序关系：从一般到特殊。其逆关系为：特殊性关系?。 从集合的观点看， ? ? ?。 2.1.3 假设空间和归纳学习 例 有下列两个概念描述 h1=(晴朗，？，？，强，？，？） h2=(晴朗，？，？，？，？，？） 则， h2 ? h1，或h1 ? h2 偏序关系的作用： 1）为假设空间提供了一种层次结构； 2）对任意概念学习问题提供了一种学习制导机制。 2.1.3 假设空间和归纳学习 归纳推理规则 归纳学习需要归纳推理规则。 一般化规则 1）? ? 确定