高级人工智能——第5讲机器学习.ppt

合肥工业大学人工智能与数据挖掘研究室 高级人工智能 机器学习 王浩 5.1 机器学习概述 5.1 机器学习概述 5.1 机器学习概述 如果一个计算机程序要完成某类任务T，其完成任务的性能可以用P衡量，该程序根据经验E改进P，则称该程序针对任务T以性能P衡量从经验E中学习(T. Mitchell，机器学习) 对于一个学习系统，必须明确： 任务的种类 衡量性能提高的标准 经验的来源 5.1 机器学习概述 5.1 机器学习概述 5.1 机器学习概述 5.2 学习的一般形式 在学习智能体中，对执行元件进行反馈并加以修正的元件是学习元件 5.2 学习的一般形式 学习元件的设计 影响学习元件设计的主要因素： 执行元件的哪个组成部分进行学习—谁要学习(who) 组成部分从学习中得到什么反馈—怎么学习(how) 组成部分是如何表示的—学习什么(what) 决定智能体学习本质的最重要因素是学习中的反馈类型 5.2 学习的一般形式 学习的三种类型 有监督(有指导)学习—从其输入/输出的实例中学习一个函数 无监督(无指导)学习—在未提供明确的输出值情况下，学习输入的模式 主要在概率推理系统的上下文中研究无监督学习 强化学习—从强化物中学习，而不是根据指导进行学习 5.2 学习的一般形式 学习过程中的知识表示 如何表示学到的信息(各种方案—智能体的任何组成部分) 逻辑公式(学到的规则) 贝叶斯网络(学到的概率描述) 线性加权函数(作为学习得到的启发函数) 先验知识的可用性—大部分人类学习发生在具有大量背景知识的上下文环境中 不同的背景知识会导致对同一事物的不同认识(如物理学家和画家对云室照片的看法) 5.2 学习的一般形式 关于学习的几个一般性问题 是否可能独立于学习算法确定学习问题中的固有难度？ 能否知道需要多少训练样例才能必要地或者充分地保证学习成功？(必要或充分条件) 如果允许学习系统与施教者(人类)提问，而不是仅仅观察训练集中的随机样本，会对所需样例有什么影响？ 能否刻画出学习系统在学到目标函数之前出错的概率？ 能否刻画出一类学习问题的固有计算复杂度？ 5.3 常见的几种学习方法 5.3 常见的几种学习方法 5.3 常见的几种学习方法 5.3 常见的几种学习方法 5.3 常见的几种学习方法 5.3 常见的几种学习方法 5.3 常见的几种学习方法 5.3 常见的几种学习方法 5.3 常见的几种学习方法 5.3 常见的几种学习方法 5.3 常见的几种学习方法 5.3 常见的几种学习方法 5.3 常见的几种学习方法 5.3 常见的几种学习方法 5.3 常见的几种学习方法 5.3 常见的几种学习方法 5.3 常见的几种学习方法 5.4 归纳学习 归纳学习也可以称作归纳推理或简称归纳，其任务是：给定函数f(未知)的实例集合，返回一个近似于f的函数h—h称为假设，所有h的集合称为假设空间 一个好的假设应该能够预测未见过的实例—这就是基本的归纳问题 问题实例—用一个单变量函数来拟合若干数据点，选择最高次数为k的多项式集合作为假设h的集合，即假设空间H 5.4 归纳学习 5.4 归纳学习 Ockham剃刀原则 上图中显示了拟合两两一组数据的不同函数—与所有数据一致的函数称为一致假设 如何在多个一致假设之间进行选择？ 答案—奥卡姆剃刀原则(Ockham’s razor)—优先选择与数据一致的最简单假设 原因—比数据本身更复杂的假设不能从数据中提取任何模式 此外，对于非确定性函数，在假设的复杂度和数据拟合度之间进行折中不可避免 5.4 归纳学习 假设空间的选择 如果假设空间包含真实函数，那么学习的问题就是可实现的，否则是不可实现的—但是真实函数是未知的，因此不能确定一个给定的学习问题是否可实现 解决方案： 使用先验知识得到一个假设空间，真实的函数一定包含在该假设空间 采用最大可能的假设空间—在假设空间的表达能力和在该空间中找到简单的一致假设之间存在一个折中—也要考虑较强的表示能力 5.4 归纳学习 归纳学习假设和归纳偏置 归纳学习假设—任一假设如果在足够大的训练样例集中很好地逼近目标函数，它也能在未见实例中很好地逼近目标函数 归纳偏置—归纳学习需要某种形式的预先假定 如果学习器不对目标概念的形式作预先假定，它从根本上无法对未见实例进行分类 归纳学习算法的有偏性是对未见数据分类的依据—有偏性越强，则归纳能力越强 5.5 决策树 决策树归纳是归纳学习算法中最简单也是最成功的算法之一—好的入门 决策树以事物的属性描述集合作为输入，输出通常是一个分类(离散的输出)—一般是二值分类(真或假) 例子：星期六上午是否适合打网球 属性={outlook，humidity，wind} 属性值={sunny, overcast, rain, high, normal, str