神经网络-BP讲述.pptx

基于误差反传的多层感知器 2016年 —BP神经网络 组员：任叶 秦瑶 陈威 目录 人工神经网络 1 人工神经网络（简写为ANNs）： 也简称为神经网络（NNs）或称作连接模型，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。 神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元 人工神经元(节点) 从三个方面进行模拟: 节点本身的信息处理能力（数学模型） 节点与节点之间连接(拓扑结构) 相互连接的强度(通过学习来调整) 决定人工神经网络整体性能的三大要素 1.神经元的人工模型 2.神经元的数学建模： 模型的六点假设： (1) 每个神经元都是一个多输入单输出的信息处理单元； (2) 神经元输入分兴奋性输入和抑制性输入两种类型； (6) 神经元本身是非时变的，即其突触时延和突触强度均为常数。 (3) 神经元具有空间整合特性和阈值特性； (4) 神经元输入与输出间有固定的时滞, 主要取决于突触延搁； (5) 忽略时间整合作用和不应期； 神经元的数学模型： τij — 输入输出间的突触时延； Tj — 神经元j 的阈值； wij — 神经元i 到 j 的突触连接系数或称权重值； f ( ) —神经元转移函数。 用一个数学表达式进行抽象与概括： oj (t+1 )与xI (t )之间的单位时差代表所有神经元具有相同的、恒定的工作节律 Xi 和oj 的下标体现了假定(1) wij 的正负体现了假定(2) 3.网络拓扑结构类型 层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连。有3种典型结合方式： 单纯层次型结构 输出层到输入层有连接 层内有连接层次型结构 互连型网络结构：网络中任意两个节点之间都可能存在连接路径，根据网络中节点的互连程度将它细分为三种情况： 全互连型结构 局部互连型网络结构 稀疏连接型 4.神经网络学习 人工神经网络最具有吸引力的特点是它的学习能力。 概念：改变权值的规则称为学习规则或学习算法 （亦称训练规则或训练算法）。 神经网络的学习类型： 有导师学习（有监督学习） 无导师学习（无监督学习） 灌输式学习 单层感知器 2 单层感知器模型图示： 只有一层处理单元 输入层也称为感知层，负责引入外部信息，自身无信息处理能力； 输出层也称为处理层，每个节点均具有信息处理能力； 两层之间的连接权值W表示(n×m的矩阵) 。 单层感知器模型的数学表示： 输入信号： 输出信号： 连接权值： 单层感知器模型的数学表示： 净输入： 输出信号： 多层感知器的提出： 提出的动因 —单计算层感知器的局限性： 只能解决线性可分问题，而大量的分类问题是线性不可分的。 —解决的有效办法 在输入层与输出层之间引入隐层作为输入模式的“内部表示”，将单计算层感知器变成多（计算）层感知器。 采用非线性连续函数作为转移函数，使区域边界线的基本线素由直线变成曲线，从而使整个边界线变成连续光滑的曲线。 多层感知器BP 3 三层BP网络 输入层 隐层 输出层 BP算法的程序实现 (1)初始化； (4)计算各层误差信号； (5)调整各层权值； (6)检查是否对所有样本完成一次轮训； (7)检查网络总误差是否达到精度要求。 (2)输入训练样本对X? Xp、d? dp 计算各层输出； (3)计算网络输出误差； 实验案例 4 1.问题背景 各种新型催化剂属于典型的非线性优化问题。 三层前馈神经网络可以任意精度逼近任意连续函数。采用BP神经网络对脂肪醇催化剂配方的实验数据进行学习，以训练后的网络作为数学模型映射配方与优化指标之间的复杂非线性关系，能获得相对较高的精度。 影响催化剂配方的五个因素：A/Cu、Zn/Cu、B/Cu、C/Cu、Mn/Cu。 催化剂配方的三个指标：脂肪酸甲脂转化率TR%、脂肪醇产率YOH%、脂肪醇选择性SOH% 2.实验数据 3.网络设计 输入层神经元的确定 输入层神经元确定为5个，分别是催化剂配方的五个影响因素：A/Cu、Zn/Cu、B/Cu、C/Cu、Mn/Cu。 输出层神经元确定 输出层神经元为3个，表示催化剂配方的三个指标：脂肪酸甲脂转化率TR%、脂肪醇产率YOH%和脂肪醇选择性SOH% 隐层 实验将采取试凑法的方式以找到最优的隐层节点数目，试验范围为[3,13]。 训练集与测试集 样本集的前15个样本作为训练集，第16、17、18个样本作为测试集。 4.实验演