人工神经网络原理 教学课件 作者 马锐 第2章.pptVIP

相关学习规则 仅根据相互连接的神经元的激活水平调整连接权 经常应用在能够实现自联想记忆的人工神经网络模型中，用于实现执行特殊记忆状态的死记硬背式学习 随机学习规则 随机学习规则利用了随机过程、概率和能量的关系调整连接权 网络并不基于某种确定性算法调整连接权值，而是按照某种概率分布进行处理 可能使网络避免陷入局部极小点而到达全局最小点 胜者为王学习规则 一种竞争学习规则，应用在采用无指导的学习方式的人工神经网络模型中 在神经网络的竞争层，对一个特定输入模式X，只有具有最大加权和的神经元j才能够获胜 胜者为王学习规则调整获胜神经元输入连接权值的结果就是使其进一步接近当前的输入模式X 内星和外星学习规则 内星学习规则用于训练内星节点响应一个特定的输入模式X 外星学习规则用于调整与外星节点j相连的外星输出连接权Tj，使其接近期望的输出模式Y 人工神经网络原理 第2章　人工神经网络基础 目录 2.1　生物神经系统 2.2　人工神经元模型 2.3　M-P模型 2.4　人工神经网络的互连结构 2.5　人工神经网络的学习 2.1　生物神经系统 2.1.1　生物神经元的结构 2.1.2　生物神经元的功能 细胞体：生物神经元的主体 细胞核 细胞质 细胞膜 膜电位：细胞膜内外 　　　　电位差 轴突：细胞的输出端 树突：细胞的输入端 突触：轴突与树突的接口 2.1.1　生物神经元的结构 2.1.2　生物神经元的功能 时空整合功能 兴奋与抑制状态 脉冲与电位转换 神经纤维传导速度 突触延时和不应期 学习、遗忘和疲劳 2.2　人工神经元模型 2.2.1　人工神经元的形式化描述 2.2.2　转移函数 2.2.1 人工神经元的形式化描述(1) 人工神经元的功能 加权：对每个输入信号进行处理以确定其强度 求和：确定所有输入信号的组合效果 转移特性：确定其输出 人工神经元模型 设神经元j的输入向量为　　　　　　，其中xi表示第i个神经元的输出，n表示输入神经元的个数。 输入神经元节点连接到神经元节点j的加权向量为　　　　　　　，其中wij表示从第i个输入神经元节点到节点j的加权值。 神经元j的阈值为θj，如果用x0=1的固定偏置输入节点表示阈值节点，则它与神经元j之间的连接强度为w0j=-θj。 2.2.1 人工神经元的形式化描述(2) 2.2.1 人工神经元的形式化描述(3) 神经元j的输入加权和为： 神经元j的输出状态为： 如果向量Xj和Wj分别包含了x0和w0j，则 　神经元j的输出为 2.2.2　转移函数(1) 2.2.2　转移函数(2) 线性函数 线性函数 非线性分段函数 阈值函数 阶跃函数 符号函数 2.2.2　转移函数(2) 非线性函数（S型函数） Sigmoid函数 双曲正切函数 概率型函数 神经元的输入与输出之间的关系不确定，使用随机函数描述输出状态为0或1的概率 2.3　M-P模型 对n个互连神经元中的第j个神经元，其输入向量为　　　　　　，其中xi表示神经元的状态，其取值为0或1，分别代表神经元的抑制和兴奋状态 各个输入神经元节点i到神经元节点j的加权向量为　　　　　　　，其中wij表示输入神经元节点i与神经元节点j之间的连接权 神经元j的阈值为θj， 神经元j的输入加权和sj为 神经元j的转移函数为 阶跃函数，输出状态为 2.4 人工神经网络的互连结构(1) 无反馈的层内无互连层次结构 单纯型层次结构：输入层/隐含层/输出层 eg：BP模型 有反馈的层内无互连层次结构 无反馈的层内互连层次结构 eg：自组织神经网络 有反馈的互连非层次结构 相互结合型结构，网络中的任意两个神经元之间都可能存在连接 eg： Hopfield网络， Boltzmann机 2.4 人工神经网络的互连结构(2) 2.5　人工神经网络的学习 2.5.1　人工神经网络的学习方式 2.5.2　基本的神经网络学习规则 2.5.1　ANN的学习方式 人工神经网络的学习过程 网络连接权值的调整过程 人工神经网络的学习方式 （评价标准） 有指导的学习 评价标准由外部提供 （期望输出） 无指导的学习 评价标准由网络自身提供 灌输式的学习：通过设计得到网络连接权 2.5.2　基本的ANN学习规则 Hebb学习规则 纠错学习规则 相关学习规则 随机学习规则 胜者为王学习规则 内星和外星学习规则 Hebb学习规则 调整神经元i到神经元j之间的连接权值wij的方法是：若第i个神经元与第j个神经元同时处于兴奋状态，则它们之间的连接应当加强 Hebb学习规则与“条件反射”学说一致，已经得到了神经细胞学说的证实 纠错学习规则 应用在采用有指导的学习方式的人工神经网络模型中 根据来自输出节点的外部反