【精选】湘潭大学 人工智能课件 机器学习.pptVIP

内容提要 第七章：机器学习系统 1.机器学习的基本概念 2.机器学习策略与基本结构 3.归纳学习 4.类比学习 5.解释学习 6.神经网络学习 8.其他 7.知识发现 神经网络学习 神经生理学研究表明，人脑的神经元既是学习的基本单位，同是也是记忆的基本单位。 目前，关于人脑学习和记忆机制的研究有两大学派： 化学学派：认为人脑经学习所获得的信息是记录在某些生物大分子之上的。例如，蛋白质、核糖核酸、神经递质，就像遗传信息是记录在DNA（脱氧核糖核酸）上一样。 突触修正学派：认为人脑学习所获得的信息是分布在神经元之间的突触连接上的。 神经网络学习 按照突触修正学派的观点，人脑的学习和记忆过程实际上是一个在训练中完成的突触连接权值的修正和稳定过程。其中，学习表现为突触连接权值的修正，记忆则表现为突触连接权值的稳定。 突触修正假说已成为人工神经网络学习和记忆机制研究的心理学基础，与此对应的权值修正学派也一直是人工神经网络研究的主流学派。 突触修正学派认为，人工神经网络的学习过程就是一个不断调整网络连接权值的过程。 按照学习规则，神经学习可分为：Hebb学习、纠错学习、竞争学习及随机学习等。 神经网络学习 Hebb学习 Hebb学习的基本思想：如果神经网络中某一神经元同另一直接与它连接的神经元同时处于兴奋状态，那么这两个神经元之间的连接强度将得到加强，反之应该减弱。 Hebb学习对连接权值的调整可表示为： wij (t+1)表示对时刻 t 的权值修正一次后所得到的新的权值； η取正值，称为学习因子，它取决于每次权值的修正量； xi(t)、xj(t)分别表示 t 时刻第 i 个和第 j 个神经元的状态。 神经网络学习 纠错学习 纠错学习的基本思想：利用神经网络的期望输出与实际输出之间的偏差作为连接权值调整的参考，并最终减少这种偏差。纠错学习是一种有导师的学习过程。 最基本的误差修正规则为：连接权值的变化与神经元希望输出和实际输出之差成正比。其联结权值的计算公式为： yj (t)为神经元 j 的实际输出; dj (t)为神经元 j 的希望输出； 神经网络学习 竞争学习 基本思想：网络中某一组神经元相互竞争对外界刺激模式响应的权力，在竞争中获胜的神经元，其连接权会向着对这一刺激模式竞争更为有利的方向发展。 随机学习 基本思想：结合随机过程、概率和能量（函数）等概念来调整网络的变量，从而使网络的目标函数达到最大（或最小）。他不仅可以接受能量函数减少（性能得到改善）的变化，而且还可以以某种概率分布接受使能量函数增大（性能变差）的变化。 感知器学习 单层感知器学习算法 单层感知器学习的例子 BP网络学习 Hopfield网络学习 神经网络学习 单层感知器学习实际上是一种基于纠错学习规则，采用迭代的思想对连接权值和阈值进行不断调整，直到满足结束条件为止的学习算法。 假设X(k)和W(k)分别表示学习算法在第k次迭代时输入向量和权值向量，为方便，把阈值θ作为权值向量W(k)中的第一个分量，对应地把“-1”固定地作为输入向量X(k)中的第一个分量。即W(k)和X(k)可分别表示如下： X(k)=[-1, x1(k), x2(k), …, xn(k)] W(k)=[θ(k),w1(k), w2(k), … ,wn(k)] 即x0(k)=-1，w0(k)=θ(k)。 单层感知器学习是一种有导师学习，它需要给出输入样本的期望输出。 假设一个样本空间可以被划分为A、B两类，定义: 功能函数：若输入样本属于A类，输出为+1，否则其输出为-1。 期望输出：若输入样本属于A类，期望输出为+1，否则为-1。 单层感知器学习算法 算法思想 单层感知器学习算法可描述如下： (1) 设t=0，初始化连接权和阈值。即给wi(0)(i=1, 2, … ,n)及θ(0)分别赋予一个较小的非零随机数，作为初值。其中，wi(0)是第0次迭代时输入向量中第i个输入的连接权值；θ(0)是第0次迭代时输出节点的阈值； (2) 提供新的样本输入xi(t)(i=1, 2, … , n)和期望输出d(t)； (3) 计算网络的实际输出： 单层感知器学习算法 算法描述 (4) 若y(t)=d(t)，不需要调整连接权值，转(6)。否则，需要调整权值 (5) 调整连接权值 其中，η是一个增益因子，用于控制修改速度，其值如果太大，会影响wi(t)的收敛性；如果太小，又会使wi(t)的收敛速度太慢; (6) 判断是否满足结束条件，若满足，算法结束；否则，将t值加1，转(2)重新执行。这里