化工系统工程课件-人工神经网络.pptVIP

智能模型—人工神经网络Artificial Neural Network 1943年心理学家M.McCulloch和数学家W.H.Pitts首先提出了简单神经元M-P模型，开创了神经科学研究的时代。 1958年Rosenblatt[1]的感知器(Perceptron)是最早的神经网络模型。 1959年Widdrow和Hiff开发了一种叫自适应线性单元(ADALINE)的网络模型，成为第一个用于实际问题的神经网络。掀起了神经网络的第一次高潮。 1969年，Minsky和Papert出版“Perseptron”一书中，证明了感知器不能实现复杂逻辑的判断功能使得神经网络的研究一度趋于低潮。 1982年，加州技术学院的物理学家John J.Hopfield博士发表了一篇十分重要的文章，他所提出的Hopfield网络，有意义的是它的网络很容易用集成电路来实现，在1984年、1986年Hopfield连续发表了有关他的网络应用的文章，他的文章得到了重视和理解。掀起了各学科关心神经网络的一个热潮。 5.1 人工神经网络的处理单元及结构 人工神经网络(ANN)，又称为“神经网”(Neural Net)，是源于人工智能的一种计算机工具。 人工神经元是神经网络的基本处理单元(缩写为PE)，也可以称其为节点。如下图就是简化的神经元结构。 人工神经元 它是一多输入、单输出的非线性元件，其输入、输出关系可描述为： 其中xi(j=1,2,…,n)是从其它细胞传来的输入信号，θj为阈值，wji表示从神经元j到神经元i的连接权值，f()称为传递函数。 人工神经网络 输入层 隐含层 隐含层 输出层 非线性函数是Sigmoid函数 训练和学习阶段—通过不断调节节点之间的相互连接权重，直至特定的输入产生特定的输出。最为广泛的为反向传播算法(BP法)； 回响阶段—向人工神经元网络输入一系列已在训练阶段使用过的输入模式，调整系统使之更可靠、更健壮： 预测阶段—向神经网络输入新的模式，希望系统能进行正常工作。 为运行人工神经网络，必须经过三个阶段： 5.2. 人工神经网络模型及BP算法 BP法是一种深入的数值方法，有许多不同的方法来进行反向传播教会人工神经网络如何作出反应。基本上，几乎所有的BP法都要进行以下步骤： (1)送入一特定的输入，测定其实际输出。 (2)将实际输出与期望输出值进行比较，根据输入—输出分析计算定量差。 (3)通过反复调整节点间的连接权重，使误差(或均方根误差)达到最小。 (a)由输出节点开始，调整其权重。 (b)“反向”传播至与输出层相邻的一层，计算那一层的误差并调整其权重。 (c)继续这一反向传播过程(由网络的输出端向输入端)直至计算无误差，并且所有权重均被调整为止。 反向传播(BP)采用的是并行式网络结构，它包括输入层、隐含层和输出层。如图所示，输入层有N+1个神经元，对应于N个输入值和一个偏值(bias)，隐含层M+1个节点，其中也有一个偏值，输出层有L个神经元。 ? 假设第k(k=1,2,…,P)个实验样本的第i个输入参数为xik，隐含层第h个节点输出值为yhk，输出层第j个节点输出值为zjk,每一节点的输入与输出值通过非线型的Sigmoid函数变换。 如果输入层与隐含层之间的权值为whi，隐含层与输出层之间的权值为wjh，则各节点的输出按下式计算： h=1,2,…,M j=1,2,…,L (2-6) 式中，θh和θj分别是，隐含层与输出层各节点的内部阈值。在输入层和隐含层之间各设一个神经元bias，即第0个节点，取它的指定输出值为1.0，对于隐含层，令θh=wj0x0k(xk0=1.0)，则式(2-6)中的自变量部分可表示成： 对于输出层也可作类似处理，于是输出式可改写为： h=1,2,…,M j=1,2,…,L 数学形式上不含阈值θ，它们已经隐含在相应的权值里，并且与其它权值一样可以在迭代过程中予以优化。 如果在[-1,1]区间给权重whi和wjh随机赋值，那么对每一个输入模式P，网络的总平均误差E： 式中：P为送入输入层的训练模式数；L为输出层的处理单元数：djk为第k个训练模式在第j个处理单元上的期望输出值；zjk为第k个训练模式在第j个处理单元上的实际输出值 上式也可写为 ： 由于转移函数是连续可微的，显然上式是每个加权的连续可微函数，反过来，为了使误差函数最小，用梯度下降法求得优化的权值，该权值总是从输出层开始修正，然后修正前层权值。从这一层意思讲有反传的含义。 根据梯度下降法，由隐蔽层至输出层的连续加权调节量为： η为学习速率，δjk定义为