人工智能第9章id3算法.ppt

第9章机器学习与知识发现;学习目标：

了解机器学习的概念、原理、分类

理解决策树学习的方法

了解神经网络学习

理解BP网络学习的原理和过程

;9.1机器学习概述;尽管如此，为了便于进行讨论和估计学科的进展，有必要对机器学习给出定义，即使这种定义是不完全的和不充分的。顾名思义，机器学习是研究如何使用机器来模拟人类学习活动的一门学科。

稍为严格的提法是：机器学习是一门研究机器获取新知识和新技能，并识别现有知识的学问。这里所说的“机器”，指的就是计算机，电子计算机，中子计算机、光子计算机或神经计算机等等。;思考：

机器能否象人类一样能具有学习能力呢？;开展史

机器学习是人工智能研究较为年轻的分支，它的开展过程大体上可分为4个时期。

第一阶段是在20世纪50年代中叶到60年代中叶，属于热烈时期。

第二阶段是在20世纪60年代中叶至70年代中叶，被称为机器学习的冷静时期。

第三阶段是从20世纪70年代中叶至80年代中叶，称为复兴时期。

机器学习的最新阶段始于1986年。;机器学习进入新阶段的重要表现在以下诸方面：

(1)机器学习已成为新的边缘学科并在高校形成一门课程。它综合应用心理学、生物学和神经生理学以及数学、自动化和计算机科学形成机器学习理论根底。

(2)结合各种学习方法，取长补短的多种形式的集成学习系统研究正在兴起。

(3)机器学习与人工智能各种根底问题的统一性观点正在形成。(4)各种学习方法的应用范围不断扩大，一局部已形成商品。遗传算法与强化学习在工程控制中有较好的应用前景。与符号系统耦合的神经网络连接学习将在企业的智能管理与智能机器人运动规划中发挥作用。

(5)与机器学习有关的学术活动空前活泼。国际上除每年一次的机器学习研讨会外，还有计算机学习理论会议以及遗传算法会议。;9.1.2机器学习的原理

从以上对于学习的解释可以看出:

(1)学习与经验有关。

(2)学习可以改善系统性能。〔目的〕

(3)学习是一个有反响的信息处理与控制过程。;机器学习的流程就是:①对于输入信息,系统根据目标和经验做出决策予以响应,即执??相应动作;②对目标的实现或任务的完成情况进行评估;③将本次的输入、响应和评价作为经验予以存储记录。

第一次决策时系统中还无任何经验,但从第二次决策开始,经验便开始积累,系统的性能自然就会不断改善和提高。;上面的学习方式现在一般称为记忆学习。例如,Samuel的跳棋程序就采用这种记忆学习方法。

记忆学习实际上也是人类和动物的一种根本学习方式。然而,这种依靠经验来提高性能的记忆学习存在严重缺乏。其一,由于经验积累是一个缓慢过程,所以系统性能的改善也很缓慢;其二,由于经验毕竟不是规律,故仅凭经验对系统性能的改善是有限的,有时甚至是靠不住的。

如果能在积累的经验中进一步发现规律,然后利用所发现的规律即知识来指导系统行为,那么,系统的性能将会得到更大的改善和提高，于是,有机器学习原理2。;机器学习原理2?;

但现在的机器学习研究一般都省去了上面的经验积累过程,而是一开始就把事先组织好的经验数据直接作为学习系统的输入,然后对其归纳推导而得出知识,再用所得知识去指导行为、改善性能,

其过程以下图所示。;这里把组织好的经验数据称为训练样本或样例,把由样例到知识的转换过程称为学习或训练。;考察上面的图9-1、图9-2和图9-3可以发现,从经验数据中发现知识才是机器学习的关键环节。所以,在机器学习中,人们就进一步把机器学习过程简化为只有知识生成一个过程，即只要从经验数据归纳推导出知识就算是完成了学习。

可以看出,右图所示的这类机器学习已经与机器学习的本来含义不一致了,实际上似乎已变成纯粹的知识发现了。;图9-5机器学习原理5;9.1.3机器学习的分类

从图9-5可以看出,机器学习可分为信息、发现和知识三个要素,它们分别是机器学习的对象、方法和目标。

分别基于这三个要素,就可以对机器学习进行分类：

基于信息,机器学习可分为符号学习和数值学习;

基于发现的逻辑方法,那么机器学习可分为归纳学习、演绎学习和类比学习等等。

基于知识的形式,机器学习又可分为规那么学习和函数学习等;1.基于学习策略的分类

1)模拟人脑的机器学习

(1)符号学习:模拟人脑的宏观心理级学习过程,以认知心理学原理为根底,以符号数据为输入,以符号运算为方法,用推理过程在图或状态空间中搜索,学习的目标为概念或规那么等。符号学习的典型方法有记忆学习、例如学习、演绎学习、类比学习、解释学习等。

(2)神经网络