第五机器学习2讲课文档.pptVIP

**第五机器学习第1页，共30页。机器学习的发展史机器学习的发展分为4个时期第一阶段是在50年代中叶到60年代中叶，属于热烈时期。第二阶段在60年代中叶至70年代中叶，被称为机器学习的冷静时期。第三阶段从70年代中叶至80年代中叶，称为复兴时期。机器学习的最新阶段始于1986年。*第2页，共30页。机器学习进入新阶段的表现机器学习已成为新的边缘学科并在高校形成课程。综合各种学习方法机器学习与人工智能问题的统一性观点正在形成。各种学习方法的应用范围不断扩大。数据挖掘和知识发现的研究已形成热潮。与机器学习有关的学术活动空前活跃。*第3页，共30页。5.2机器学习的主要策略和基本结构机器学习的主要策略按照学习中使用推理的多少，机器学习所采用的策略大体上可分为4种———机械学习、通过传授学习、类比学习和通过事例学习。机械学习传授学习策略类比学习系统通过事例学习策略*第4页，共30页。机器学习系统的基本结构1.学习系统的基本结构环境学习知识库执行学习系统的基本结构*第5页，共30页。2.影响学习系统设计的要素影响学习系统设计的最重要因素是环境向系统提供的信息，或者更具体地说是信息的质量。知识库是影响学习系统设计的第二个因素。知识的表示有特征向量、一阶逻辑语句、产生式规则、语义网络和框架等多种形式。*第6页，共30页。机械学习1.机械学习模式机械学习是最简单的学习方法。机械学习就是记忆，即把新的知识存储起来，供需要时检索调用，而不需要计算和推理。它是一种最基本的学习过程。5.3常见的几种学习方法*第7页，共30页。存储计算推导归纳算法与理论机械记忆搜索规则数据化简级别图Lenat，Hayes-Roth，和Klahr等人于1979年关于机械学习提出一种有趣的观点*第8页，共30页。2.机械学习的主要问题存储组织信息：要采用适当的存储方式，使检索速度尽可能地快。环境的稳定性与存储信息的适用性问题：机械学习系统必须保证所保存的信息适应于外界环境变化的需要。存储与计算之间的权衡：对于机械学习来说很重要的一点是它不能降低系统的效率。7.3机械学习*第9页，共30页。解释学习解释学习过程和算法1986年米切尔（Mitchell）等人为基于解释的学习提出了一个统一的算法EBG：训练例子操作准则知识库新规则目标概念*第10页，共30页。EBG求解问题的形式可描述于下:给定：(1)目标概念描述TC；(2)训练实例TE；(3)领域知识DT；(4)操作准则OC。求解：训练实例的一般化概括，使之满足：(1)目标概念的充分概括描述TC；(2)操作准则OC。*第11页，共30页。基于事例的学习当无法建立好的模型时，通过记录事例进行学习是一种可取的方法。这时，在信息被应用之前，不对它进行任何处理。采用基于事例的学习方法时，首先，任何时候都可以应用相容启发(consistencyheuristic)方法，把某个预先观察过的事物的特性赋给另一个从未见过的新事物。其次，学会如何应用K-维树迅速地找到特征空间内的最近邻物体。

*第12页，共30页。最近邻物体的寻求(1)快速串行过程以对数次数求得最近邻物体

(2)并行硬件更快求得最近邻物体

*第13页，共30页。定义：决策树是一种表示，是一种语义树。树上，(a)每个节点与一个可能回答集合有关。(b)每个非终叶节点与某个测试有关，该测试把它的可能回答集合分解为对应于不同测试结果的一些子集。(c)每个分支把一个具体的测试结果子集传给另一个节点。定义：k-维树是一种表示，它是一种决策树，树上，(a)可能回答集合由点组成，其中有个点可能是给定点的最近邻点。(b)每个测试规定一个坐标、一个阈值和一个围绕该阈值的不合点的中性区。(c)每个测试根据每个点处在阈值的哪一边而把点的集合分为两组。*第14页，共30页。基于概念的学习归纳学习(inductivelearning)是研究最广的一种符号学习(symboliclearning)方法，它表示从例子设想出假设的过程。在进行归纳学习时，学习者从所提供的事实或观察到的假设进行归纳推理，获得某个概念。归