有监督的学习.ppt

神经网络和模糊系统 第五章 突触动力学Ⅱ：有监督的学习 张文革 2006.11 突触动力学Ⅱ：有监督的学习 本章内容： 一、预备知识 二、有监督的函数估计 三、监督学习就是有效的训练 四、已知类隶属度的监督学习 五、感知器、MLS和BP算法 一、预备知识（1） 1、生物神经元模型 神经元是脑组织的基本单元，人脑是由大约140多亿个神经元组成的巨系统。神经元的结构如下图所示： 一、预备知识（2） 2、神经元的突触： 突触是两个细胞之间连接的基本单元，每个细胞约有 个突触。突触主要有两种连接方式： 一是一个神经细胞的轴突与另一个神经细胞的树突发生接触； 二是一个神经细胞的轴突与另一个神经细胞的胞体接触。 一、预备知识（3） 突触有两种类型： 兴奋型和抑制型。 突触的界面具有脉冲/电位信号转换功能，它能将沿神经纤维传递的等幅、恒宽、编码的离散脉冲信号，转换为细胞膜可以处理的连续电位信号。 一、预备知识（4） 3、突触动力学： 突触能够传递神经冲动。树突从四方收集由其它神经细胞传来的信息，信息流由树突出发，经过细胞体，然后由轴突输出。信息传递在突触处主要是发生化学和电的变化，从而对神经细胞产生一个兴奋或抑制的动力。 一、预备知识（5） 4、人工神经网络的分类： 人工神经网络的分类有多种方法，但通常采用如下分类： 按网络结构分为：前馈网络和反馈网络； 按学习方式分为：监督学习和非监督学习，也叫有导师学习和无导师学习。 本章主要论述前馈网络的监督学习算法。 一、预备知识（6） 5、什么是学习？ 学习就是对信息进行编码,其目的就是通过向有限个例子（训练样本）的学习来找到隐藏在例子背后（即产生这些例子）的规律（如函数形式）。 当样本数据改变系统参数时，系统会对这些改变进行自适应或自组织的学习，在神经网络中表现为突触的改变。 按突触修正假说，神经网络在拓扑结构固定时，其学习归结为连接权的变化。 所以，对固定拓扑的神经网络，学习就是求权值，即突触矩阵。 一、预备知识（7） 6、什么是监督？ 监督就是对每一个输入Xi,都假定我们已经知道它的期望输出Yi,这个Yi可以理解为监督信号，也叫“教师信号”。 对每一个输入Xi及其对其估计的期望输出Yi，就构成了一个训练样本。 一、预备知识（8） 7、学习的种类： 学习的种类有四种：死记式学习， 学习律，自组织的学习和Hebbian学习律，相近学习。 由于监督学习主要使用的是 学习律，所以，在此主要介绍 学习律。 一、预备知识（9） 8、 学习律 这种方法是用已知例子作为教师对网络的权进行学习。其规则是通过神经网络理想输出和实际输出之间的误差来修正网络的权值。在很多神经网络中，都采用了这种学习方法，如Perceptron， Adaline和Back-propagation算法等。 一、预备知识（10） 9、有监督的学习 有监督的学习就是根据这若干组训练样本 ，对人工神经网络进行训练，利用学习系统的误差（ E[J] ，为期望输出与实际输出之差），不断校正学习系统的行为（即突触权值），使误差尽可能地小，从而估计出神经元函数：f : x—y。 所以，监督学习的最终任务，就是通过使系统误差尽可能地小，不断地调整突触权值，最终求出神经元函数f。 一、预备知识（11） 10、监督学习与非监督学习的区别： 在监督学习中，假定我们知道每一输入对应的期望输出，并利用学习系统的误差，不断校正系统的行为； 在非监督学习中，我们不知道学习系统的期望输出。 11、前馈神经网络的结构示意图 特点：各神经元接受前一级输入，并输出到下一级，无反馈。输入、输出节点称为可见层，其它中间层称为隐层。 12、监督学习流图 其关键之处，就是将教师信号加入到了网络中. 二、有监督的函数估计(1) 在学习之前，神经网络犹如一个黑盒子，我们能做的，就是可以给它加一定的输入 Xi，再给每个输入Xi提供一个期望输出Yi，即“教师信号”，从而形成了一系列的样本对（Xi,Yi）。 有监督的函数估计，就是通过包含“教师信号”的样本对（Xi,Yi）,求出神经网络的传输函数 f 的近似表达式。 二、有监督的函数估计(2) 采用的方法，就是利用误