第9章_机器学习与知识发现重点.ppt

第四篇 学习与发现 学习是系统积累经验或运用规律指导自己的行为或改进自身性能的过程。 发现是系统从接收的信息中发现规律的过程。 人工智能中的机器学习(machine learning)主要指机器对自身行为的修正或性能的改善（类似于人类的技能训练和对环境的适应）和机器对客观规律的发现（类似与人类的科学发现）。 机器学习主要分为 符号学习 连接学习 统计学习 机器对于客观规律的发现，也称为知识发现(Knowledge Discovery,KD)。 数据挖掘(Data Mining)是知识发现的一个重要研究和应用领域。 目前的机器学习主要是机器的直接发现性学习，而间接性继承机器学习需要“理解”为基础。 第9章 机器学习与知识发现 9.1 机器学习概述 9.2 符号学习 9.3 神经网络学习 9.4 知识发现与数据挖掘 9.1 机器学习概述 9.1.1 机器学习的概念 9.1.2 机器学习的原理 9.1.3 机器学习的分类 9.1.1 机器学习的概念 心理学中对学习的解释是：学习是指（人或动物）依靠经验的获得而使行为持久变化的过程。 Simon认为：如果一个系统能够通过执行某种过程而改进它的性能，这就是学习。 Minsky认为：学习是在人们头脑中（心理内部）进行有用的变化。 Tom M. Mitchell在《机器学习》一书中对学习的定义是：对于某类任务T和性能度P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么，我们称这个计算机程序从经验E中学习。 当前关于机器学习的许多文献中也大都认为：学习是系统积累经验以改善其自身性能的过程。 总之： ① 学习与经验有关； ② 学习可以改善系统性能； ③ 学习是一个有反馈的信息处理与控制过程。因为经验是在系统与环境的交互过程中产生的，而经验中应该包含系统输入、响应和效果等信息。因此经验的积累、性能的完善正是通过重复这一过程而实现的。 9.1.2 机器学习的原理 9.1.3 机器学习的分类 1. 基于学习策略的分类 （1）模拟人脑的机器学习 ●符号学习：模拟人脑的宏观心理级学习过程，以认知心理学原理为基础，以符号数据为输入，以符号运算为方法，用推理过程在图或状态空间中搜索，学习的目标为概念或规则等。符号学习的典型方法有：记忆学习、示例学习、演绎学习、类比学习、解释学习等。 ●神经网络学习（或连接学习）：模拟人脑的微观生理级学习过程，以脑和神经科学原理为基础，以人工神经网络为函数结构模型，以数值数据为输入，以数值运算为方法，用迭代过程在系数向量空间中搜索，学习的目标为函数。典型的连接学习有权值修正学习、拓扑结构学习。 （2）直接采用数学方法的机器学习 ●主要有统计机器学习（贝叶斯学习、贝叶斯网络学习、几何分类学习、支持向量机SVM）。 2. 基于学习方法的分类 （1）归纳学习 ● 符号归纳学习：典型的符号归纳学习有示例学习，决策树学习。 ● 函数归纳学习（发现学习）：典型的函数归纳学习有神经网络学习、示例学习，发现学习，统计学习。 （2）演绎学习 （3）类比学习：典型的类比学习有案例（范例）学习。 （4）分析学习：典型的分析学习有案例（范例）学习、解释学习。 3. 基于学习方式的分类 （1）有导师学习（监督学习）：输入数据中有导师信号，以概率函数、代数函数或人工神经网络为基函数模型，采用迭代计算方法，学习结果为函数。 （2）无导师学习（非监督学习）：输入数据中无导师信号，采用聚类方法，学习结果为类别。典型的无导师学习有发现学习、聚类、竞争学习等。 （3）强化学习（增强学习）：以环境反馈（奖/惩信号）作为输入，以统计和动态规划技术为指导的一种学习方法。 4. 基于数据形式的分类 （1）结构化学习：以结构化数据为输入，以数值计算或符号推演为方法。典型的结构化学习有神经网络学习、统计学习、决策树学习、规则学习。 （2）非结构化学习：以非结构化数据为输入，典型的非结构化学习有类比学习、案例学习、解释学习、文本挖掘、图像挖掘、Web挖掘等。 5. 基于学习目标的分类 （1）概念学习：即学习的目标和结果为概念，或者说是为了获得概念的一种学习。典型的概念学习有示例学习。 （2）规则学习：即学习的目标和结果为规则，或者说是为了获得规则的一种学习。典型的规则学习有决策树学习。 （3）函数学习：即学习的目标和结果为规则，或者说是为了获得函数的一种学习。典型的函数学习有神经网络学习。 （4）类别学习：即学习的目标和结果为对象类，或者说是为了获得类别的一种学习。典型的类别学习有聚