人工智能技术简明教程课件作者廉师友第6章节机器学习与知识发现（白）.ppt

第6章 机器学习与知识发现 6.1 机器学习概述 6.2 符号学习 6.3 神经网络学习 6.4 知识发现与数据挖掘 6.1 机器学习概述 6.1.1 机器学习的概念 心理学中对学习的解释是：学习是指（人或动物）依靠经验的获得而使行为持久变化的过程。 Simon认为：如果一个系统能够通过执行某种过程而改进它的性能，这就是学习。 Minsky认为：学习是在人们头脑中（心理内部）进行有用的变化。 Tom M. Mitchell在《机器学习》一书中对学习的定义是：对于某类任务T和性能度P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么，我们称这个计算机程序从经验E中学习。 当前关于机器学习的许多文献中也大都认为：学习是系统积累经验以改善其自身性能的过程。 总之： ① 学习与经验有关； ② 学习可以改善系统性能； ③ 学习是一个有反馈的信息处理与控制过程。因为经验是在系统与环境的交互过程中产生的，而经验中应该包含系统输入、响应和效果等信息。因此经验的积累、性能的完善正是通过重复这一过程而实现的。 6.1.2 机器学习的原理 6.1.3 机器学习的分类 1. 基于学习策略的分类 （1）模拟人脑的机器学习 ●符号学习：模拟人脑的宏观心理级学习过程，以认知心理学原理为基础，以符号数据为输入，以符号运算为方法，用推理过程在图或状态空间中搜索，学习的目标为概念或规则等。符号学习的典型方法有：记忆学习、示例学习、演绎学习、类比学习、解释学习等。 ●神经网络学习（或连接学习）：模拟人脑的微观生理级学习过程，以脑和神经科学原理为基础，以人工神经网络为函数结构模型，以数值数据为输入，以数值运算为方法，用迭代过程在系数向量空间中搜索，学习的目标为函数。典型的连接学习有权值修正学习、拓扑结构学习。 （2）直接采用数学方法的机器学习 ●主要有统计机器学习。 2. 基于学习方法的分类 （1）归纳学习 ● 符号归纳学习：典型的符号归纳学习有示例学习，决策树学习。 ● 函数归纳学习（发现学习）：典型的函数归纳学习有神经网络学习、示例学习，发现学习，统计学习。 （2）演绎学习 （3）类比学习：典型的类比学习有案例（范例）学习。 （4）分析学习：典型的分析学习有案例（范例）学习、解释学习。 3. 基于学习方式的分类 （1）有导师学习（监督学习）：输入数据中有导师信号，以概率函数、代数函数或人工神经网络为基函数模型，采用迭代计算方法，学习结果为函数。 （2）无导师学习（非监督学习）：输入数据中无导师信号，采用聚类方法，学习结果为类别。典型的无导师学习有发现学习、聚类、竞争学习等。 （3）强化学习（增强学习）：以环境反馈（奖/惩信号）作为输入，以统计和动态规划技术为指导的一种学习方法。 4. 基于数据形式的分类 （1）结构化学习：以结构化数据为输入，以数值计算或符号推演为方法。典型的结构化学习有神经网络学习、统计学习、决策树学习、规则学习。 （2）非结构化学习：以非结构化数据为输入，典型的非结构化学习有类比学习、案例学习、解释学习、文本挖掘、图像挖掘、Web挖掘等。 5. 基于学习目标的分类 （1）概念学习：即学习的目标和结果为概念，或者说是为了获得概念的一种学习。典型的概念学习有示例学习。 （2）规则学习：即学习的目标和结果为规则，或者说是为了获得规则的一种学习。典型的规则学习有决策树学习。 （3）函数学习：即学习的目标和结果为规则，或者说是为了获得函数的一种学习。典型的函数学习有神经网络学习。 （4）类别学习：即学习的目标和结果为对象类，或者说是为了获得类别的一种学习。典型的类别学习有聚类分析。 （5）贝叶斯网络学习：即学习的目标和结果是贝叶斯网络，或者说是为了获得贝叶斯网络的一种学习。其又可分为结构学习和参数学习。 6.2 符号学习 6.2.1 记忆学习 记忆学习方法简单, 但学习系统需要几种能力：  (1) 能实现有组织的存储信息。 (2) 能进行信息综合。 (3) 能控制检索方向。 当存储对象愈多时, 其中可能有多个对象与给定的 6.2.2 示例学习 示例学习也称实例学习, 它是一种归纳学习。示例学习是从若干实例(包括正例和反例)中归纳出一般概念或规则的学习方法。 例 9.1 假设示例空间中有桥牌中同花概念的两个示例: 示例1： 花色(c1，梅花)∧花色(c2，梅