热能系统分析与最优综合5-2人工神经网络讲稿.ppt

1、神经网络的基本原理 1）.（生物物理）神经网络是大脑的一个组成部分。大脑皮层的每一点的活力是由其他点势能释放的综合效能产生的。 2）.这一势能与以下因素有关：1）相关其他点的兴奋次数；2）兴奋的强度；3）与其不相连的其他点所接受的能量。 3）.（工程技术）神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统。 神经网络分为两类 1）生物：主要包括生物学家、物理学家和心理学家。他们研究的目的是给出大脑活动的精细模型和描述； 2）人工：主要包括工程技术人员。他们关心的是怎样利用神经网络的基本原理，来构造解决实际问题的算法，使得这些算法具有有趣和有效的计算能力。 人工神经网络 神经网络的基本原理是构造人工神经网络模型的一个基本依据。 人工神经网络（Artificial Neural Networks, 简记作ANN），是对人类大脑系统的一阶 特性的一种描述。简单地讲，它是一个数 学模型，可以用电子线路来实现，也可以 用计算机程序来模拟，是人工智能研究的 一种方法。 神经网络由相互关联的神经元组成。每一个神经元由内核，轴突和多个晶枝组成。晶枝可以想象为一个非常精密的毛刷环绕在内核周围。轴突可以想象为一根又长又细的管道，其终点分为众多细小分枝，将内核的信息传递给其他内核的晶枝。这些细小分支的头称为突触，其主要功能就是接触其他内核的晶枝。 一个神经元通过晶枝接收到一定的信息后， 它对这些信息进行处理， 再通过它所控制的突触 传送给其他的神经元。 神经元分为两种： “抑制”性的和“兴奋”性的。 网络的分层结构 单级网 (1) 简单单级网 x1 w11 o1 x2 w1m o2 … w2m wn1 xn wnm on 输入层 输出层 多级网 … … … 输入层 隐藏层 输出层 BP学习算法网络误差与权值调整 将以上误差定义式展开至隐层： 输出误差E定义： 进一步展开至输入层： j=0,1,2,…,m; k=1,2,…,l i=0,1,2,…,n; j=1,2,…,m 式中负号表示梯度下降，常数η∈(0,1)表示比例系数。 在全部推导过程中，对输出层有j=0,1,2,…,m; k=1,2,…,l 对隐层有 i=0,1,2,…,n; j=1,2,…,m BP学习算法 对于输出层 对隐层 对输出层和隐层各定义一个误差信号，令 对于输出层， ?o可展开为 对于隐层， ?y可展开为 下面求网络误差对各层输出的偏导。 对于输出层 对于隐层 应用 求网络误差对各层输出的偏导 得到三层前馈网的BP学习算法权值调整计算公式为： 第三节 反馈型神经网络 feed-back neural networks 美国加州理工学院物理学家J.J.Hopfield教授于1982年提出一种单层反馈神经网络，后来人们将这种反馈网络称作Hopfield网。 Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN (Discrete Hopfield Neural Network)和CHNN (Continues Hopfield Neural Network)。 反馈神经网络由于其输出端有反馈到其输入端；所以，Hopfield网络在输入的激励下，会产生不断的状态变化。当有输入之后，可以求取出Hopfield的输出，这个输出反馈到输入从而产生新的输出，这个反馈过程一直进行下去。如果Hopfield网络是一个能收敛的稳定网络