第6章多层神经网络-中山大学.pptVIP

第六章 多层神经网络 6.1　引 言 神经网络定义 一个神经网络是一个由简单处理元构成的规模宏大的并行分布式处理器。天然具有存储经验知识和使之可用的特性。 神经网络与人脑的相似性： a .神经网络获取的知识是从外界环境中学习得来。 b .互连神经元的连接强度，即突触权值，用于存储获取的知识。 神经元模型 　a. 突触权值 　　　b .加法器—净激活 　　　c. 激活函数 6.2　前馈运算和分类 前馈运算定义： 　a.无反馈，可用一有向无环图表示。 　b.图的节点分为两类，即输入节点与计算单元。 　c.每个计算单元可有任意个输入，但只有一个输出，而输出可耦合到任意多个其他节点的输入。前馈网络通常分为不同的层，第i层的输入只与第i-1层的输出相联。 　d.输入和输出节点由于可与外界相连，直接受环境影响，称为可见层，而其他的中间层则称为隐层。如图。 符号函数： 6.2.1 一般的前馈运算 显然，我们可以把之前的讨论推广为更多的更多的输入单元、其他的非线性函数、任意多个输出单元。在分类方面，我们有c个输出单元，每个类别一个，每个输出单元产生的信号就是判别式函数gk(x). 判别函数如下： 6.3　反向传播算法 误差反向传播学习分为四个过程: a.模式顺传播：一个输入向量作用于网络感知节点，它的影响经过网络一层接一层的传播。最