ch4机器学习资料.pptVIP

第六章 机器学习 概述 决策树学习 神经网络学习 机器学习 — 概述 1.机器学习的基本概念： 　按照人工智能大师西蒙的观点，学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或类似任务时，会比现在做得更好或效率更高。 2.机器学习的定义 　机器学习是研究如何使用机器来模拟人类学习活动的一门学科。稍为严格的提法是：机器学习是一门研究机器获取新知识和新技能，并识别现有知识的学问。 机器能否象人类一样能具有学习能力呢？1959年美国的塞缪尔(Samuel)设计了一个下棋程序，这个程序具有学习能力，它可以在不断的对奕中改善自己的棋艺。4年后，这个程序战胜了设计者本人。又过了3年，这个程序战胜了美国一个保持8年之久的常胜不败的冠军。这个程序向人们展示了机器学习的能力，提出了许多令人深思的社会问题与哲学问题。 机器学习 — 概述 机器学习的任务 获得对于输入的数据进行分类的能力。 获得解决问题，行为计划和行为控制等的能力。 机器学习 — 概述 为什么要研究机器学习？ 当前人工智能研究的主要障碍和发展方向之一就是机器学习。包括学习的计算理论和构造学习系统。现在的人工智能系统还完全没有或仅有很有限的学习能力。系统中的知识由人工编程送入系统，知识中的错误也不能自动改正。也就是说，现有的大多数人工智能是演绎的、没有归纳推理，因而不能自动获取和生成知识。 机器学习 — 概述 为什么要研究机器学习？ 未来的计算机将有自动获取知识的能力，它们直接由书本学习，通过与人谈话学习，通过观察学习。它们通过实践自我完善，克服人的存储少、效率低、注意力分散、难以传送所获取的知识等局限性。一台计算机获取的知识很容易复制给任何其它机器。 机器学习 — 概述 实现的困难： 预测难：学习后知识库发生了什么变化，系统功能的变化的预测。 归纳推理：现有的归纳推理只保证假，不保证真。演绎推理保真。而且，归纳的结论是无限多的，其中相当多是假的，给生成的知识带来不可靠性。 机器目前很难观察什么重要、什么有意义。 机器学习 — 概述 发展历史 50年代中期－60年代中期（热烈时期） 学习的统计计算模型 自组织、自适应方法 模式识别的产生(指纹、掌心、头骨骼等)，至今还在沿用 60年代中期－70年代中期（冷清时期） Winston积木世界学习系统 Michalski 大豆病诊断规则程序 概念学习过程，高级知识的符号描述 70年代中期－80年代中期（复兴时期） 多个概念的学习，多种学习策略 机器学习与各种应用结合起来 80年：CMU召开了第一次机器学习研讨会 86年：《Machine Learning》创刊 机器学习的最新阶段始于1986年。?? 第六章 机器学习 概述 决策树学习 神经网络学习 决策树学习 决策树(Decision Tree) 一种描述概念空间的有效的归纳推理办法。基于决策树的学习方法可以进行不相关的多概念学习，具有简单快捷的优势，已经在各个领域取得广泛应用。 决策树学习（概述） 决策树学习是以实例为基础的归纳学习。 从一类无序、无规则的事物（概念）中推理出决策树表示的分类规则。 概念分类学习算法：来源于 Hunt,Marin和Stone 于1966年研制的CLS学习系统，用于学习单个概念。 1979年, J.R. Quinlan 给出ID3算法，并在1983年和1986年对ID3 进行了总结和简化，使其成为决策树学习算法的典型。 Schlimmer 和Fisher 于1986年对ID3进行改造，在每个可能的决策树节点创建缓冲区，使决策树可以递增式生成，得到ID4算法。 1988年，Utgoff 在ID4基础上提出了ID5学习算法，进一步提高了效率。 1993年，Quinlan 进一步发展了ID3算法，改进成C4.5算法。 另一类决策树算法为CART，与C4.5不同的是，CART的决策树由二元逻辑问题生成，每个树节点只有两个分枝，分别包括学习实例的正例与反例 决策树学习（概述） 1 建立决策树，利用训练样本生成决策树模型。 开始，数据都在根节点 递归的进行数据分片 2 使用决策树对未知数据进行分类 按照决策树上采用的分割属性逐层往下，直到一个叶子节点 决策树学习（决策树） 决策树学习（决策树） 判定结构可以机械的转变成产生式规则。可以通过对结构进行广度优先搜索，并在每个节点生成“IF…THEN”规则来实现。 IF “个子大” THEN IF “脖子短” THEN IF “鼻子长” THEN 可能是大象 形式化表示成 决策树学习（决策树） 构造一棵决策树要解决四个问题： 收集待分类的数