第六章_机器学习.pptVIP

第六章机器学习 第六章 机器学习 主要内容： 机器学习概述 归纳学习★ 示例学习 基于决策树的归纳学习方法ID3 类比学习 基于范例的学习 解释学习 支持向量机 6.1 机器学习概述 学习可能只是一个简单的联想过程，给定了特定的输入，就会产生特定的输出。如：狗 命令“坐” 行为“坐” 学习的成功是多种多样的： 学习识别客户的购买模式以便能检测出信用卡欺诈行为， 对客户进行扼要描述以便能对市场推广活动进行定位， 对网上内容进行分类并按用户兴趣自动导入数据， 贷款申请人的信用打分， 燃气涡轮的故障诊断等。 6.1.1 简单的学习模型 学习系统的基本结构如图所示。 ★ 影响学习系统设计的最重要的因素是环境向系统提供的信息。 知识库里存放的是指导执行部分动作的一般原则，但环境向学习系统提供的信息却是各种各样的。 如果信息的质量比较高，与一般原则的差别比较小，则学习部分就比较容易处理。 如果向学习系统提供的是杂乱无章的指导执行具体动作的具体信息，则学习系统需要在获得足够数据之后，删除不必要的细节，进行总结推广，形成指导动作的一般原则，放入知识库。 这样，学习部分的任务就比较繁重，设计起来也较为困难。 学习系统所进行的推理并不完全是可靠的，它总结出来的规则可能正确，也可能不正确，这要通过执行效果加以检验。 正确的规则能使系统的效能提高，应予保留；不正确的规则应予修改或从数据库中删除。 知识库是影响学习系统设计的第二个因素。 知识表示有多种形式，如 特征向量、 一阶逻辑、 产生式规则、 语义网络 框架等。 选择表示方式时要兼顾以下4个方面： (1)表达能力强。 例如，如果研究的是一些孤立的木块，则可选用特征向量表示方式。用(颜色，形状，体积)这种形式的向量表示木块。用一阶逻辑公式描述木块之间的相互关系，如用公式 表示一个红色的木块在一个绿色的木块上面。 (2)易于推理。 如，在推理过程中经常会遇到判别两种表示方式是否等价的问题。在特征向量表示方式中，解决这个问题比较容易；在一阶逻辑表示方式中，解决这个问题要花费较高的计算代价。 因为学习系统通常要在大量的描述中查找，很高的计算代价会严重影响查找的范围。因此如果只研究孤立的木块而不考虑相互的位置，则应该使用特征向量表示。 (3)容易修改知识库 学习系统的本质要求它不断地修改自己的知识库，当推广得出一般执行规则后，要加到知识库中去。当发现某些规则不适用时要将其删除。 因此学习系统的知识表示，一般都采用明确、统一的方式，如特征向量、产生式规则等，以利于知识库的修改。新增加的知识可能与知识库中原有的知识相矛盾，因此有必要对整个知识库作全面调整。删除某一知识也可能使许多其他知识失效，因此需要进一步作全面检查。 (4)知识表示易于扩展 随着系统学习能力的提高，单一的知识表示己经不能满足需要；一个系统可能同时使用几种知识表示方式。有时还要求系统自己能够构造出新的表示方式，以适应外界信息不断变化的需要。 因此要求系统包含如何构造表示方式的元级描述。现在，人们把这种元级知识也看成是知识库的一部分。这种元级知识使学习系统的能力得到极大提高，使其能够学会更加复杂的东西，不断地扩大它的知识领域和执行能力。 学习系统不能在全然没有任何知识的情况下凭空获取知识，每一个学习系统都要求具有某些知识以理解环境提供的信息，分析比较，作出假设，检验并修改这些假设。 因此，学习系统是对现有知识的扩展和改进。 6.1.2 什么是机器学习 学习是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或类似任务时，比现在做得更好或效率更高。 例子： 机器学习是一门研究机器获取新知识和新技能，并识别现有知识的人工智能分支。 6.1.3 机器学习研究概况 发展分四阶段： (1)在20世纪50年代中叶到60年代中叶，属于热烈时期。 在这个时期，所研究的是“没有知识”的学习，即“无知”学习；其研究目标是各类自组织系统和自适应系统；其主要研究方法是不断修改系统的控制参数以改进系统的执行能力，不涉及与具体任务有关的知识。 指导本阶段研究的理论基础是早在20世纪40年代就开始研究的神经网络模型。 这个阶段的研究导致了“模式识别”的诞生，同时形成了两种机器学习方法——判别函数法和进化学习。 Samuel的下棋程序就是使用判别函数法的典型例子。 (2)在20世纪60年代中叶至70年代中叶，被称为冷静时期。本阶段的研究目标是模拟人类的概念学习过程，并采用逻辑结构或图结构作为机器内部描述。机器能够采用符号来描述概念(符号概念获取)，并提出关于学习概念的各种假设。 本阶段的代表性工作 神经网络学习机因理论缺陷未能达到预期效果而转入低潮。 (3)从20世纪70年代中叶至80年代中叶，称为复兴时期。 在这个时期