突触动力学有监督学习.pptVIP

－－－04神经网络通过向环境获取知识并改进自身性能。一般是按某种预定的度量调节自身的参数（如权值）随时间逐步达到的。03当现有的先验知识不完全时，就需要学习。学习的方式取决于这一先验信息不完全的程度。在监督学习过程中，假设已知未来学习系统的期望响应，并且使用期望值与实际值的差值（即学习系统的误差）去修正系统的行为。而在非监督学习中是不了解学习系统的期望响应的。01－－－02第五章突触动力学Ⅱ：有监督学习01按网络结构分为：反馈网络和前馈网络；按学习方式分为：监督学习和非监督学习。神经网络的分类：02前馈网络的监督学习算法，包括感知器算法、最小均方误差算法和反向传播（BP）算法。本章论述内容：03本章论述了监督学习是对未知平均误差层的随机近似，即给定观察得到的随机矢量样本对：要估计一个未知函数：f:x—y，并且使期望误差函数E[J]最小。误差定义为期望特性与实际特性之差。理论基础：本章论述要点：前馈网络：上图即为前馈神经网络的结构示意图。各神经元接受前一级输入，并输出到下一级，无反馈。输入、输出节点称为可见层，其他中间层称为隐层。监督学习：有监督学习有时也叫有教师学习，“教师”在这里要对一组给定的输入提供应有的输出结果。这组已知的输入－输出数据就称为训练样本集。学习系统如下图：有监督的函数估计有监督的学习相当于操作性条件反射有监督的学习相当于有先验知识的随机模式学习算法，感知器，LMS，BP论述内容：有监督的函数估计：神经网络引进的函数估计的概念为：已知随机样本矢量对，要从这些样本中估计出产生这些样本矢量对的函数，即：其中：是输入空间是输出空间是要估计的泛函所采用的方法为是使一个未知期望的误差函数（也叫目标函数）最小化。设N为一个神经网络的传递函数，那么可以定义瞬时误差为 ，这是一个随机向量，因为我们不知道联合概率密度函数p(x,y)，所以，无法求出， ,一般用 。随机逼近用观测到的随机量来估计期望值，然后在离散的近似算法中使用这些估计量，通常是随机的梯度下降法，举个例子，在Widrow’sLMS算法中，他用的梯度是随机梯度。幻灯片50102有监督的函数估计：有监督的学习＝操作性条件反射操作性条件反射相当于有监督的学习，如果输入与期望的输出不同，就调节权值m幻灯片5有监督的学习＝操作性条件反射幻灯片52.传统条件反射（相对于非条件反射的概念），神经网络直接把输入x耦合到输出y有效条件强化响应(Operantconditioningreinforceresponses)。条件聚类强化了刺激，例如，一个生物体学会了一刺激响应对：在条件刺激S中加一个条件进行学习，即：也就是学会了一条规则。这样的例子如巴普洛夫条件反射试验。，那么返回有监督的学习＝有先验知识的随机模式学习幻灯片5例1：用已知的类隶属度作为随机模式学习的有监督学习模式：定义为模式空间的一个点；时变模式：空间中的一条轨迹线；映射定义了从时间区间到模式空间中单点的映射。概率密度:为模式x在中的分布的一种描述。模式类：为空间的子集。目的：是用已知的样本：及模式类来估计有监督的学习＝有先验知识的随机模式学习幻灯片5是集合的指示函数指示函数指出了模式x的类隶属度。如果S是将映射到而不是，那么S就是一个连续的或者说是多值的分为k个不相交的子集：假设将模式样本空间的有监督的学习＝有先验知识的随机模式学习幻灯片5为求期望值，且有：我们可以进一步区分有监督和无监督模式学习： 贝叶斯学习，因为用到了指示器函数，所以是有监督的学习有监督和无监督模式学习的区别依赖于已有的信息以及学习系统如何利用它。在两种情况下系统都不知道如果知道确定的类，并且学习系统利用了这些信息，那么模式学习就是监督学习。如果不知道或没用类隶属度（指示函数），则模式学习就是非监督的。有监督的学习＝有先验知识的随机模式学习A返回B例2：监督随机竞争学习定律：先看噪声随机竞争学习定律:C由于上式没有使用类成员信息校正突触矢量，所以是非监督学习。D监督随机竞争学习定律为：E增强函数为：F奖励正确的模式分类＋1，惩罚错误的模式分类为－1。