[资料]机械进修与数据挖掘.pptVIP

机器学习与数据挖掘基础 1 机器学习概述 1.1 机器学习的概念 心理学中对学习的解释是：学习是指（人或动物）依靠经验的获得而使行为持久变化的过程。 Simon认为：如果一个系统能够通过执行某种过程而改进它的性能，这就是学习。 Minsky认为：学习是在人们头脑中（心理内部）进行有用的变化。 Tom M. Mitchell在《机器学习》一书中对学习的定义是：对于某类任务T和性能度P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么，我们称这个计算机程序从经验E中学习。 当前关于机器学习的许多文献中也大都认为：学习是系统积累经验以改善其自身性能的过程。 总之： ① 学习与经验有关； ② 学习可以改善系统性能； ③ 学习是一个有反馈的信息处理与控制过程。因为经验是在系统与环境的交互过程中产生的，而经验中应该包含系统输入、响应和效果等信息。因此经验的积累、性能的完善正是通过重复这一过程而实现的。 1.2 机器学习系统的基本模型 1.2 机器学习系统的基本模型 环境可以是系统的工作对象，也可以包括工作对象和外界条件。例如在医疗系统中，环境就是病人当前的症状、检验的数据和病历。在模式识别中，环境就是待识别的图形或景物。 1.2 机器学习系统的基本模型 学习环节通过获得外部信息，并将这些信息与执行环节所反馈回的信息进行比较。一般情况下环境提供的信息水平与执行环节所需的信息水平之间往往有差距，经分析、综合、类比、归纳等思维过程，学习环节就要从这些差距中获取相关对象的知识，并将这些知识存入知识库中。 1.2 机器学习系统的基本模型 知识库用于存放由学习环节所学到的知识。 影响学习系统设计的第二个因素是知识库的形式和内容。知识库的形式就是知识表示的形式（一阶谓词逻辑、产生式规则、框架、语义网络、类和对象、模糊集合、贝叶斯网络、脚本、过程等）。选择知识表示方法要考虑下列准则：可表达性、推理难度、可修改性和可扩充性。 1.2 机器学习系统的基本模型 执行环节是整个机器学习系统的核心。执行环节用于处理系统面临的现实问题，即应用知识库中所学到的知识求解问题，并对执行的效果进行评价，将评价的结果反馈回学习环节，以便系统进一步的学习。 1.3 机器学习的分类 1. 基于学习策略的分类 机械学习 传授学习 类比学习 归纳学习 基于解释的学习 机械学习 机械学习(Rote Learning)又叫做记忆学习，或死记硬背学习。 机械学习就是记忆，把新知识储存起来，需要时对储存的知识进行检索，而不再需要计算和推理。 机械学习模式： 设系统的输入模式为(X1，X2，…，Xn)，对应的输出模式为(Y1，Y2 …，Ym)。把每次的输入输出数据存储起来，形成输入输出模式集合(X1，X2，…，Xn)，(Y1，Y2，…，Ym))，使用时根据给定的输入数据，直接查找、检索输出。 传授式学习 传授学习(Learning by Being Told或Learning by Instruction)又称为指点学习。 这时，环境提供的信息较抽象，水平较高，学习环节把这些信息变换成执行环节使用的较低水平的信息。 传授式学习 McCarthy 1958年计划建立一个接收建议的系统，系统可以接受专家的建议并用于规划某一领域的行动。20世纪70年代后期，开始研究接收专家建议，改进专家系统的工作。 1980-1981年Hayes Roth提出自动接收建议过程。 传授式学习 1.要求 请求专家提出建议。有时对专家的要求是简单的，即请专家提供一般的建议。有时，对专家的要求是复杂的，即请专家识别知识库的欠缺，并提出修改方法。有些系统是被动的，它消极等待专家提出建议。有些系统是主动的，它把专家注意力引向特定的问题。 2.解释 这是把专家建议转成内部表示，是知识表示问题。内部表示应包含建议的全部信息。如果用自然语言提出建议，解释过程应包括自然语言理解。  传授式学习 3. 实用化 这是传授学习的信息变换过程，它把抽象的建议转成具体的知识。实用化过程类似于自动程序设计。前者由建议得到实用的规则，后者由程序说明得到程序。二者也存在差别。后者要求得到完全正确的程序，强调程序的正确性。前者往往使用弱方法，不保证完全正确。实用化过程有时作试探性的假设和近似，只能要求其合理性。得到的假设还要经过检验和修改。 传授式学习 4. 归并 将新知识加入知识库。学习系统往往是非单调系统，新知识加入知识库时，需要检查并保证知识的相容性。 5. 评价 实用化过程得到的新知识往往只是假设，要经过验证和修改，即需要进行评价。如果评价中发现了问题，就需要进行间题分析和知识库修改。实用化是整个学习过程的核心。 类比学习 类比学习(Learning by Analogy)是获取新概念或新技巧的方法，它把类似这