第6章机器学习总结.pptx

第六章 机器学习 概述 实例学习 基于解释的学习 决策树学习 神经网络学习 1 第六章 机器学习 概述 实例学习 基于解释的学习 决策树学习 神经网络学习 2 机器学习 — 概述 参考书: 《Machine Learning》, Tom M. Mitchell, 1997, (机械出版社) 什么是机器学习？ Simon(1983): 学习就是系统中的变化, 这种变化使系统比以前更有效地去做同样的工作。 Minsky(1985): 学习是在我们头脑中(心里内部)进行有用的变化。 学习是一种具有多侧面的现象。学习的过程有: 获取新的陈述性知识、通过教育或实践发展机械技能和认知能力、将新知识组织成为通用化和有效的表达形式、借助观察和实验发现新的事实和新的理论。 3 机器学习 — 概述 学习的基本形式 知识获取和技能求精。 学习的本质就是获取新的知识。包括物理系统和行为的描述和建模, 构造客观现实的表示。 ——知识获取 通过实践逐渐改造机制和认知技能。 例: 骑自行车。这些技能包括意识的或机制的协调。这种改进又是通过反复实践和从失败的行为中纠正偏差来进行的。 ——技能求精 4 机器学习 — 概述 知识获取的本质可能是一个自觉的过程, 其结果是产生新的符号知识结构和智力模型。 而技能求精则是下意识地借助于反复地实践来实现的。 本章只涉及学习的知识获取问题。 5 机器学习的任务 获得对于输入的数据进行分类的能力 获得解决问题、行为计划和行为控制的能力 评价指标 分类精度 解答的正确性和质量 学习的速度 6 机器学习 — 概述 为什么要研究机器学习？ 人工智能主要是为了研究人的智能, 模仿其机理将其应用于工程的科学。在这个过程中必然会问道: “人类怎样做才能获取这种特殊技能(或知识)？”。 7 机器学习 — 概述 为什么要研究机器学习？ 当前人工智能研究的主要障碍和发展方向之一就是机器学习。包括学习的计算理论和构造学习系统。现在的人工智能系统还完全没有或仅有很有限的学习能力。系统中的知识由人工编程送入系统, 知识中的错误也不能自动改正。也就是说, 现有的大多数人工智能是演绎的、没有归纳推理, 因而不能自动获取和生成知识。 8 机器学习 — 概述 未来的计算机将有自动获取知识的能力, 它们直接由书本学习, 通过与人谈话学习, 通过观察学习。它们通过实践自我完善, 克服人的存储少、效率低、注意力分散、难以传送所获取的知识等局限性。一台计算机获取的知识很容易复制给任何其它机器。 9 机器学习 — 概述 实现的困难: 预测难: 学习后知识库发生了什么变化, 系统功能的变化的预测。 归纳推理: 现有的归纳推理只保证假, 不保证真。演绎推理保真。而且, 归纳的结论是无限多的, 其中相当多是假的, 给生成的知识带来不可靠性。 判断难: 机器目前很难观察什么重要、什么有意义。 10 机器学习 — 概述 发展历史 神经系统模型和决策理论 50年代开始。其特点是对开始与无初始结构和面向作业知识的通用学习系统感兴趣。包括构造多种具有随机或部分随机的初始结构的基于神经模型的机器。这些系统一般称为神经网络或自组织系统。由于当时计算机技术状态, 多停留在理论和硬件上。这些元件类似于神经元, 他们实现简单的逻辑功能。……… 11 机器学习 — 概述 发展历史 神经系统模型和决策理论 ……… 1965年左右, 神经网络经验模式导致了模式识别这一新学科以及机器学习的决策理论方法。这种方法中学习就是从给定的一组经过选择的例子中获得判断函数, 有线性的、多项式的、或相关的形式。 当时, Samuel(1959-1963)的跳棋程序是最著名的成功的学习系统之一。达到了跳棋大师的水平。 12 机器学习 — 概述 符号概念获取 1975年左右提出的。这类学习过程通过分析一些概念的正例和反例构造出这些概念的符号表示。表示的形式一般是逻辑表达式、决策树、产生式规则或语义网络。代表有Winston的ARCH。 13 机器学习 — 概述 知识加强和论域专用学习 此方法是70年代中期开始, 沿着符号主义路线进行的。在原有基础上逐步加强、重于专业的专用性。强调使用面向任务的知识和它对学习过程的引导作用。系统包括预先确定的概念、知识结构、论域约束、启发式规则和论域有关的变换。系统在开始并不具有所有的属性或概念, 在学习过程中系统应得到一些新的属性或概念。 没有绝对的学习方法。许多系统体现出上述途径的组合。 14 机器学习 — 概述 机器学习进入新阶段的重要表现: (近十年)(1) 机器学习已成为新的边缘科学并在高校形成一门课程。它综合应用心理学、生物学和神经生理学以及数学、自动化和计算机科学形成机器学习理论基础。 15 机器学习