多层神经网络.pptVIP

第六章 多层神经网络 6.1多层感知器网络（MLP，Multilayer Perceptron） 神经元模型 解决异或问题的多层感知器 多层感知器的分类原理 隐含层实现对输入空间的非线性映射，输出层实现线性分类； 非线性映射方式和线性判别函数可以同时学习。 激活函数—阈值函数 激活函数—线性函数 激活函数—对数Sigmoid函数 激活函数—双曲正切Sigmoid函数 标准的三层感知器网络 多层感知器网络的设计 选定层数：通常采用三层网络，增加网络层数并不能提高网络的分类能力； 输入层：输入层节点数为输入特征的维数d，映射函数采用线性函数； 隐含层：隐含层节点数需要设定，一般来说，隐层节点数越多，网络的分类能力越强，映射函数一般采用Sigmoid函数； 输出层：输出层节点数可以等于类别数c，也可以采用编码输出的方式，少于类别数c，输出函数可以采用线性函数或Sigmoid函数。 三层网络的判别函数形式 6.2 MLP的训练--误差反向传播算法（BP，Backpropagation algorithm） BP算法的实质是一个均方误差最小算法(LMS) 符号定义：训练样本x，期望输出t=(t1,…, tc)，网络实际输出z=(z1,…, zc)，隐层输出y=(y1,…, ynH)，第k个神经元的净输出netk。 目标函数： 输出层 隐含层 隐含层 迭代公式 输出层： 隐