2009-7.ppt

第7章 机器学习 机器学习的定义和发展历史 机器学习的主要策略与基本结构 机械学习 归纳学习 类比学习 解释学习 神经学习 知识发现 7.1 机器学习 —机器学习的定义和发展历史 什么是机器学习？ Simon（1983）：学习就是系统中的变化，这种变化使系统比以前更有效地去做同样的工作。 Minsky (1985)：学习是在我们头脑中（心里内部）进行有用的变化。 学习是一种具有多侧面的现象。学习的过程有：获取新的陈述性知识、通过教育或实践发展机械技能和认知能力、将新知识组织成为通用化和有效的表达形式、借助观察和实验发现新的事实和新的理论。 7.1 机器学习 —机器学习的定义和发展历史 基本形式 知识获取和技能求精。 学习的本质就是获取新的知识。包括物理系统和行为的描述和建模，构造客观现实的表示。 ——知识获取 通过实践逐渐改造机制和认知技能。 例：骑自行车。这些技能包括意识的或机制的协调。这种改进又是通过反复实践和从失败的行为中纠正偏差来进行的。 ——技能求精 7.1 机器学习 —机器学习的定义和发展历史 基本形式 知识获取的本质可能是一个自觉的过程，其结果是产生新的符号知识结构和智力模型。而技能求精则是下意识地借助于反复地实践来实现的。本章只涉及学习的知识获取问题。 为什么要研究机器学习？ 人工智能主要是为了研究人的智能，模仿其机理将其应用于工程的科学。在这个过程中必然会问道：“人类怎样做才能获取这种特殊技能(或知识)？”。 .......…. 7.1 机器学习 —机器学习的定义和发展历史 为什么要研究机器学习？ .......…. 现在的人工智能系统还完全没有或仅有很有限的学习能力。系统中的知识由人工编程送入系统，知识中的错误也不能自动改正。也就是说，现有的大多数人工智能是演绎的、没有归纳推理，因而不能自动获取和生成知识。 .......…. 7.1 机器学习 —机器学习的定义和发展历史 为什么要研究机器学习？ ……….. 未来的计算机将有自动获取知识的能力，它们直接由书本学习，通过与人谈话学习，通过观察学习。它们通过实践自我完善，克服人的存储少、效率低、注意力分散、难以传送所获取得知识等局限性。 7.1 机器学习 —机器学习的定义和发展历史 实现的困难： 预测难：学习后知识库发生了什么变化，系统功能的变化的预测。 归纳推理：现有的归纳推理只保证假，不保证真。演绎推理保真。而且，归纳的结论是无限多的，其中相当多是假的，给生成的知识带来不可靠性。 机器目前很难观察什么重要、什么有意义。 7.1 机器学习 —机器学习的定义和发展历史 热烈时期---50年代中~60年代中 研究内容---神经系统模型和决策理论 研究目标---自组织自适应系统 研究方法---不断修改系统的控制参数，改进系统的执行能力 多停留在理论和硬件上。这些元件类似于神经元，他们实现简单的逻辑功能。 ……… 7.1 机器学习 —机器学习的定义和发展历史 冷静时期---60年代中~70年代中 研究内容---符号概念获取 研究目标---模拟人类的概念学习过程 研究方法---采用逻辑结构或图结构作为机器内部描述 1965年左右，神经网络经验模式导致了模式识别这一新学科以及机器学习的决策理论方法。 当时，Samuel(1059-1963)的跳棋程序是最著名的成功的学习系统之一。达到了跳棋大师的水平。 7.1 机器学习 —机器学习的定义和发展历史 复兴时期---70年代中~80年代中 研究内容---知识加强和论域专用学习 研究目标---自动知识获取 研究方法---建立大规模的知识库，实现知识强化学习 此方法是70年代中期开始，沿着符号主义路线进行的。系统包括预先确定的概念、知识结构、论域约束、启发式规则和论域有关的变换。系统在开始并不具有所有的属性或概念，在学习过程中系统应得到一些新的属性或概念。 7.1 机器学习 —机器学习的定义和发展历史 稳步发展时期---86年以后 研究内容---专门领域知识的增长型学习 研究目标---联结机制的学习方法 研究方法---结合各种学习方法的多种形式集成学习系统 机器学习已成为新的边缘科学并在高校形成一门课程。它综合应用心理学、生物学和神经生理学以及数学、自动化和计算机科学形成机器学习理论基础。 7.1 机器学习 —机器学习的定义和发展历史 机器学习进入新阶段的重要表现：（近十年） 结合各种学习方法，取长补短的多种形式的集成学习系统的研究正在兴起。特别是连接学习，符号学习的耦合可以更好地解决连续性信号处理中知识与技能的获取与求精问题而受到重视。 7.1 机器学习 —机器学习的定义和发展历史 机器学习进入新阶段的重要表现：（近十年） 机器学习与人工智能各种基础问题的统一性观点正