《人工智能chapter7Machine Learning.pptVIP

第七章 机器学习 7.1 机器学习的基本概念 什么是学习？ 现阶段机器学习 基本的学习方法 基于示例的归纳学习 示例学习基本概念 单概念和多概念 ID3 算法 ： ID3 算法 ： 1.令根结点包含例子集中所有实例。 2.如果每个叶结点包含的例子都属于同一分类，则停止划分。 3.否则需对叶结点进行进一步划分： (1)需要进一步划分的叶结点所包含的例子组成子例子集S。 (2)找出对S来说E值最小的属性abest。 (3)根据属性abest的值对S进行划分，每个值将生成一个分枝。 (4) 执行步骤2。 熵 熵是研究不确定人工智能的一个重要参数 设一个系统X由多个事件|Xi|（i=1，2,…,n）组成，事件Xi的概率为p(Xi)，那么信息熵定义为： 狗的例子集 E颜色.棕色＝ E颜色.黑色＝ E体形.大＝ E体形.中＝ E体形.小＝ ID3 算法 E毛型.光滑＝ E毛型.卷毛＝ 现在必须对“中”“小”这两个分枝的实例重复上述计算过程。 现在只有“体形”为“中”和“小”的“棕色”狗还没有明确类别，需用“毛型”来进一步划分。 C4.5 C4.5是对ID3的改进算法 对连续值的处理 对未知特征值的处理 对决策树进行剪枝 规则的派生 期末大作业要求:期末考试前完成 解释学习 1983年 。在经验学习的基础上，运用领域知识对单个例子的问题求解作出解释。是一种关于知识间因果关系的推理分析，可产生一般的控制策略。 1986年。解释的泛化（EBG），将解释学习的过程定义为两个步骤： （1）通过分析一个求解实例来才产生解释结构。 （2）对该解释结构进行泛化，获取一般的控制规则。 用于获取控制知识、精化知识、软件重用、计算机辅助设计和计算机辅助教育等方面 不完全领域知识下的解释学习 不完整 不正确 难处理 不完全领域知识下的解释学习 (2) 纠错学习 是一种有导师的学习过程，其基本思想：利用神经网络的期望输出与实际输出之间的偏差作为连接权值调整的参考，并最终减少这种偏差。 最基本的误差修正规则为：连接权值的变化与神经元希望输出和实际输出之差成正比。其联结权值的计算公式为： 其中， wij(t)表示时刻t的权值； wij(t+1)表示对时刻t的权值修正一次后所得到的新的权值；η是一正常量，也称为学习因子；yj(t)为神经元j的实际输出;dj(t)为神经元j的希望输出；dj(t)-yj(t)表示神经元j的输出误差；xi(t)为第i个神经元的输入 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. (3) 竞争学习 基本思想：网络中某一组神经元相互竞争对外界刺激模式响应的权力，在竞争中获胜的神经元，其连接权会向着对这一刺激模式竞争更为有利的方向发展。 (4) 随机学习 基本思想：结合随机过程、概率和能量（函数）等概念来调整网络的变量，从而使网络的目标函数达到最大（或最小）。他不仅可以接受能量函数减少（性能得到改善）的变化，而且还可以以某种概率分布接受使能量函数增大（性能变差）的变化。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 是一种基于纠错学习规则 采用迭代的思想对连接权值和阈值进行不断调整，直到满足结束条件为止 7.5.2 感知器学习 单层感知器学习算法 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. X(k)：学习算法在第k次迭代时输入向量 W(k)：在第k次迭代时权值向量 把阈值θ作为权值向量W(k)中的第一个分量 对应地把“-1”固定地作为输入向量X(k)中的第一个分量。即W(k)和X(k)可分别表示如下： X(k)=[-1, x1(k), x2(k), …, xn(k)] W(k)=[θ(k),w1(k), w2(k), … ,wn(k)] 即x0(k)=-1，w0(k)=θ(k)。 单层感知器学习算法 Evaluation only. Created with Aspose.Slides for