机器学习与.ppt

中南大学 智能系统与智能软件研究所 第4章 机器学习Machine Leanrning 4.1 机器学习的定义 学习：学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或类似任务时，会比现在做得更好或效率更高。（人工智能大师西蒙的观点） 学习的基本形式 知识获取 学习的本质就是获取新的知识，包括物理系统、行为的描述和模型的建立，构造客观现实的表示。 技能求精 通过实践改造机制和认知技能。这些技能包括意识的或机制的。这种改变是通过反复实践和从失败中纠正错误来进行的。 学习骑自行车。 4.1.1 机器学习的定义 这里所说的“机器”，指的就是计算机；现在是电子计算机，以后还可能是中子计算机、光子计算机或神经计算机等等。 研究机器学习的意义 1、机器学习速度惊人； 2、机器学习可以把学习不断地延续下去，避免大量的重复学习，使知识积累达到新的高度； 未来的计算机将有自动获取知识的能力，直接从书本中学习，通过与人谈话学习，通过观察学习。通过实践自我完善。 3、机器学习有利于知识的传播：一台计算机获取的知识很容易复制给任何其他机器。 4、克服人的存储少，效率低，注意力分散，难以传送所获取知识等局限性。 4.1.2 机器学习的发展史 机器学习的发展分为4个时期 第一阶段是在50年代中叶到60年代中叶，属于热烈时期。 第二阶段在60年代中叶至70年代中叶， 被称为机器学习的冷静时期。 第三阶段从70年代中叶至80年代中叶， 称为复兴时期。 机器学习的最新阶段始于1986年。 第一阶段是在50年代中叶到60年代中叶，属于热烈时期。 在这个时期，所研究的是“没有知识”的学习，即“无知”学习。 其研究目标是各类自组织系统和自适应系统；指导本阶段研究的理论基础是早在40年代就开始研究的神经网络模型。 在这个时期，我国研制了数字识别学习机。 第二阶段在60年代中叶至70年代中叶，被称为机器学习的冷静时期。 本阶段的研究目标是模拟人类的概念学习过程，并采用逻辑结构或图结构作为机器内部描述。 这个时期正是我国“史无前例”的十年，对机器学习的研究不可能取得实质进展。 第三阶段从70年代中叶至80年代中叶，称为复兴时期。 在这个时期，人们从学习单个概念扩展到学习多个概念，探索不同的学习策略和各种学习方法。 本阶段已开始把学习系统与各种应用结合起来，中国科学院自动化研究所进行大量的分析研究，表明我国的机器学习研究得到恢复。 1980年西蒙来华传播机器学习的火种后，我国的机器学习研究出现了新局面。 机器学习的最新阶段始于1986年。 一方面，由于神经网络研究的重新兴起，另一方面，对实验研究和应用研究得到前所未有的重视。 我国的机器学习研究开始进入稳步发展和逐渐繁荣的新时期。 2. 机器学习的分类 目前常用的分类方法： 分类（由低到高） 机械学习 机械学习又称为记忆学习，是最简单的学习策略。 这种学习策略不需要任何推理过程。外面输入知识的表示方式与系统内部表示方式完全一致，不需要任何处理和变化。 传授学习 传授学习又称指导式学习或指点学习。 从老师或其它有结构的事物获取知识。要求学习者将输入语言的知识转换成它本身的内部表示形式。并把新的信息和它原有的知识有机地结合为一体。 演绎学习-通过类推学习 学习者找出现有知识中所要产生的新概念或技能十分类似的部分。将它们转换或扩大成适合新情况的形式，从而取得新的事实或技能。 在演绎学习中，学习系统由给定的知识进行演绎的保真推理，并存储有用的结论。 归纳学习-从例子中学习 归纳学习是应用归纳推理进行学习的一类学习方法。 给学习者提供某一概念的一组正例和反例，学习者归纳出一个总的概念描述，是它适合于所有的正例且排除所有的反例。（目前研究较多的一种方法） 类比学习 类比学习就是在遇到新的问题时，可以学习以前解决过的类似问题的解决方法，来解决当前的问题。 所以寻找与当前问题相似的已知问题就很重要，并且必须要能够发现当前任务与已知任务的相似之点，由此制定出完成当前任务的方案。 类比学习可以由系统已有的某一领域知识得到另一领域中类似的知识。 实例学习 实例学习又称为概念获取，它是通过向学习者提供某一概念的一组正例和反例，使学习者从这些正反例中归纳推理出概念的一般描述，这个描述应能解释所有给定的正例并排除所有给定的反例。 这些正反例是由信息源提供的，信息源可能是已经知道概念的教师，也可以是学习者本身，还可能是学习者以外的外部环境。 观察与发现学习 观察与发现学习又称为描述的一般化。这类学习没有教师的指导，它要产生对所有或大多数观察到