人工智能课件4-机器学习.pptVIP

归纳学习 归纳学习(inductive learning)是研究最广的一种符号学习(symbolic learning)方法，它表示从例子设想出假设的过程。 在进行归纳学习时，学习者从所提供的事实或观察到的假设进行归纳推理，获得某个概念。 归纳推理是从部分到全体，从特殊到一般的推理过程。 从应用角度看，归纳学习可分为概念学习、概念聚集和启发学习3种。 简介 许多机器学习涉及到从特殊训练样例中得到一般概念。 概念，可被看作一个对象或事件集合，它是从更大的集合中选取的子集，或在这个较大集合中定义的布尔函数。 概念学习问题的定义 给定一个样例集合以及每个样例是否属于某个概念的标注，怎样推断出该概念的一般定义。又称从样例中逼近布尔函数。 概念学习是指从有关某个布尔函数的输入输出训练样例中推断出该布尔函数。 概念学习任务 一个例子 目标概念，Aldo进行水上运动的日子，表示为布尔函数EnjoySport 任务目的，基于某天的各属性，预测EnjoySport的值 一个样例集，每个样例表示为属性的集合 Yes Change Cool Strong High Warm Sunny 4 Yes Change Warm Strong High Cold Rainy 3 Yes Same Warm Strong High Warm Sunny 2 Yes Same Warm Strong Normal Warm Sunny 1 EnjoySport Forecast Water Wind Humidity AirTemp Sky Example 表9-1 目标概念EnjoySport的训练样例 概念学习任务（2） 表示假设的形式 逻辑公式，实例的各属性约束的合取式 令每个假设为6个约束（或变量）的向量，每个约束对应一个属性可取值范围，为 ？任意本属性可接受的值 明确指定的属性值 ? 不接受任何值 假设的例子 Sky AirTemp Humid Wind Water Forecst ?, Cold, High, ?, ?, ? ?, ?, ?, ?, ?, ? // 所有的样例都是正例 ?, ?, ?, ?, ?, ? // 所有的样例都是反例 概念学习任务（3） EnjoySport概念学习任务 已知 实例集X 每个实例x由6个属性描述，每个属性的取值范围已确定 假设集H 每个假设h描述为6个属性的取值约束的合取 目标概念c 一个布尔函数，变量为实例 训练样例集D 目标函数（或目标概念）的正例和反例 求解 H中的一假设h，使对于X中任意x，h(x)=c(x) 归纳学习假设 什么是归纳学习？ 从特殊的样例得到普遍的规律 归纳 只能保证输出的假设能与训练样例相拟合 归纳假设的一个基本假定 对于未见实例最好的假设就是与训练数据最佳拟合的假设 归纳学习假设 任一假设如果在足够大的训练样例集中很好地逼近目标函数，它也能在未见实例中很好地逼近目标函数。 集成 在分类时，采用投票的方式决定新样本属于哪一类。 由于每个分类器的分类能力不同，在集成时，需要对所有分类器加权平均，以决定分哪类。 受关注的原因 弱分类器比强分类器设计简单。 有统计学习理论的基础。 典型方法：加权多数算法， Bootstrap, ADABOOST 等。 增强机器学习 增强机器学习最早提出是考虑“从变化环境中”学习蕴含在环境中知识，其本质是对环境的适应 开始的动机主要是为了解决机器人规划、避障与在环境中适应的学习问题 目前，由于网络用户是更为复杂的环境，例如，如何使搜索引擎适应用户的需求，成为更为重要的应用领域 Q学习，动态规划，遗传学习，以及免疫网络都成为实现增强机器学习的有效方法。 机器学习的最新研究 算法驱动(建模与数据分析) 应用驱动 算法（数据）驱动 海量数据(108-10)。 算法的泛化能力。 算法的可解释性。 不同类型数据的学习方法。 领域应用驱动 自然语言数据分析、DNA数据分析、网络与电信数据分析、图像数据分析、金融与经济数据分析、旅游数据分析．．．。 Web信息的有效获取(新一代搜索引擎)。由此导致各种学习任务：数据流学习、多实例学习(部分放弃独立同分布条件)、Ranking学习。 需要各种算法及整合，解决实际问题。 应用驱动机器学习 流形机器学习 半监督机器学习 多实例机器学习 Ranking机器学习 数据流机器学习 图模型机器学习 …… 流形机器学习 很多问题的表示方法，使得信息十分稀疏，如何将信息稠密化是一个困难的问题（“维数灾难”），主成分分析是一种方法，但是，只对线性情况有效 流形学习是解决上述问题的非线性方法 由于流形的本质是分段线性化，因此，流形学习需要解决计算开集、设计同胚映射等问题