第5章 人工神经网络.ppt

第7章 人工神经网络;7.0 神经网络简介;什么是人工神经网络？;大脑与神经系统;大脑皮层与神经元;神经元;神经网络的组织;;;;;;;神经元模型——单输入神经元;神经元模型——传输函数;神经元模型——多输入神经元;神经元模型——神经元的“层”;神经元模型——多层神经元;7.1 Hebb规则与联想学习;如果一个正的输入 产生一个正的输出 ，则增加连接权值;7.1 Hebb学习与联想器存储器;如果输入发生了微小变化 ，那么输出也只发生轻微变化;联想器的Hebb监督学习;联想器的伪逆规则;例：自联想器存储器;7.1 Hebb学习与联想器存储器;什么是联想？;简单联想网络;无条件刺激条件刺激——举例;无条件刺激条件刺激——无监督Hebb学习;无监督Hebb学习的改进;带衰减的Hebb学习;简单识别网络——instar;简单识别网络——instar;学习率 时有;简单识别网络——Kohonen;简单回忆网络——outstar;简单回忆网络——outstar;简单回忆网络——outstar举例;7.2 反向传播（BP）网络;ADALINE 网络;二次函数 ，R为对称阵;ADALINE 网络——自适应滤波;ADALINE 举例——自适应噪声消除;ADALINE 举例——自适应噪声消除;ADALINE 举例——自适应噪声消除;ADALINE 举例——自适应噪声消除;7.2 反向传播（BP）网络;解决异或问题的多层感知器;多层感知器的分类原理;标准的三层感知器网络;多层感知器网络的设计;三层网络的判别函数形式;误差反向传播算法（BP，Backpropagation algorithm）;输出层;隐含层;隐含层;迭代公式;误差反向传播;BP算法—批量修改;激活函数的选择：一般可以选择双曲型的Sigmoid函数； 目标值：期望输出一般选择(-1,+1)或(0,1)； 规格化：训练样本每个特征一般要规格化为0均值和标准差； 权值初始化：期望每个神经元的-1net+1，因此权值一般初始化为 ； 学习率的选择：太大容易发散，太小则收敛较慢； 冲量项：有助于提高收敛速度。;多层感知器网络存在的问题;多层感知器网络存在的问题;多层感知器网络存在的问题;7.3 竞争网络;Hamming网络——结构;Hamming网络——结构;竞争层;竞争学习;竞争学习举例;竞争层中的问题;竞???层中的问题;竞争层中的问题;竞争层的生物学意义;自组织特征图（SOFM）网络;自组织特征图（SOFM）网络举例;学习向量量化（LVQ）网络;学习向量量化（LVQ）网络;学习向量量化（LVQ）网络学习;学习向量量化（LVQ）网络举例;学习向量量化（LVQ）网络改进;7.4 Hopfield网络简介;递归网络——漏积分器;递归网络——特点与关键;递归网络——微分方程组描述;递归网络——微分方程组描述;Lyapunov稳定性;如果存在一个 只要 有;Lyapunov稳定性定理;Hopfield模型;Hopfield模型;Hopfield模型;Hopfield网络设计——联想存储器