人工神经网络---数学建模培训课件.ppt

信息工程大学 韩中庚 人 工 神 经 网 络 人工神经网络基本概念 1．1 生物神经元及生物神经网络 神经元是大脑处理信息的基本单元，以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成。 人脑大约由1012个神经元组成，神经元互相连接成神经网络. 人工神经网络基本概念 人工神经网络基本概念 从神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近。当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质。 突触有两种：兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。 人工神经网络基本概念 1．2 人工神经元模型 生物神经元是一个多输入、单输出单元。 常用的人工神经元模型可用图2模拟。 人工神经网络基本概念 人工神经网络基本概念 常见的响应函数有以下几种类型： 人工神经网络基本概念 人工神经网络基本概念 1.3 建立和应用神经网络的步骤 （1）网络结构的确定 包含网络的拓扑结构和每个神经元相应函数的选取； （2）权值和阈值的确定 通过学习得到，为有指导的学习，也就是利用已知的一组正确的输入、输出数据，调整权和阈值使得网络输出与理想输出偏差尽量小； （3）工作阶段 用带有确定权重和阈值的神经网络解决实际问题的过程，也叫模拟（simulate）。 单层前向线性网络 单层前向线性网络 单层前向线性网络 2.2 线性网络 采用线性相应函数，得 单层前向线性网络 单层前向线性网络 单层前向线性网络 2.3 线性网络的MATLAB实现 MATLAB产生线性网络的命令： net=newlin(A,n); 其中，A为m×2的矩阵，m为输入变量的个数，每一行分别表示对应输入变量的下、上界；n为输出变量的个数。 最小二乘规则的学习命令： net=newlind(P,T); 其中，P为学习的输入数据矩阵,T为学习的理想输出矩阵。 单层前向线性网络 计算网络输出的命令： result=sim(net,P) P为工作阶段需要计算的输入矩阵。 误差修正规则的学习命令： net=train(net,P,T) 利用误差修正，对P,T一对对的学习，每学习一遍称为一轮（epoch）.默认学习效率为1.在用该命令前，需给定平均（误差）方差上限和计算的最大轮数。 单层前向线性网络 例1： 例2： 例3： 人 工 神 经 网 络 3.1 基本原理 三. 阶 跃 网 络 3.2 阶跃网络的MATLAB实现 产生网络的命令： net=newp(A,n); 数据意义和其他命令均与线性网络相同。 例4：略 四. 多层前向神经网络 四. 多层前向神经网络 四. 多层前向神经网络 4.1 BP（back-propagation）规则 四. 多层前向神经网络 四. 多层前向神经网络 应用BP网络时注意事项： 响应函数为S形函数，只能趋于0或者1； 初始权和阈值最好随机选取； 算法的全局最优可以通过其他方法改进得到； BP算法主要采用与梯度下降有关的学习方法，非线性函数优化有很多的方向下降法，这些方法都可以应用过来。 比如：traingdm（势能修正法）、traingdx（自调整学习效率法）、trainbfg（拟牛顿法）、trainscg（标量共轭梯度法） 等等。 四. 多层前向神经网络 4.2 MATLAB实现 产生多层网络结构的命令： net=newff(A,B,{C},trainfun); A同前，规模为n0×2,代表n0个输入的下、上界B是一个K为行向量，其分量为对应层神经元个数，C是一个K维字符串向量，每个字符串代表对应层神经元的响应函数； trainfun为学习规则。 可选响应函数字符串：logsig,tansig,purelin 分代表： Sigmoid ，双曲正切，线性函数 四. 多层前向神经网络 常见参数： net.trainParam.show 显示中间结果的周期（25） net.trainParam.lr 整批学习中的学习效率（0.01） net.trainParam.mc 势能学习规则(traingdm)势能率（0.9） net.trainParam.epochs 整批学习迭代次数上限（100） net.trainParam.goal 最小二乘目标误差设定值（0） 四. 多层前向神经网络 4.3 应用举例 例5： 例6：谵妄的诊断 谵妄是由于各种原因引起的急性脑器质性综合症，其特点是急性发病，意识水平变化，病程波动，定向力、注意