第10章-人工神经网络.pptxVIP

王静北京大学基于Pyton的机器学习应用

人工神经网络第10章

人工神经网络发展历程

生物神经元系统人工神经网络是受生物神经网络的启发构造而成。大脑含约1011个神经元，它们通过1015个联结构成一个网络。每个神经元具有独立的接受、处理和传递电化学信号的能力，这种传递由神经通道来完成。人工神经网络概述

神经元的结构树突从细胞体伸向其它神经元，神经元之间的接受信号的联结点为突触。通过突触输入的信号起着兴奋/抑制作用。当细胞体接受的累加兴奋作用超过某阈值时，细胞进入兴奋状态，产生冲动，并由轴突输出。CellbodyAxonNucleusSynapse突触Dendrite树突生物神经网络

w1?Z=?wixiw2wnx1x2xny=f(?wixi-?)轴突突触树突内核轴突1943年，心理学家McCulloch和数学家Pitts对神经元进行形式化研究，提出了神经元的数学模型——MP模型。CellbodyAxonNucleusSynapse突触Dendrite树突

模拟神经元的首要目标：输入信号的加权和人工神经元可以接受一组来自系统中其它神经元的输入信号，每个输入对应一个权，所有输入的加权和决定该神经元的激活状态。每个权就相当于突触的联结强度。w1?wixiw2wnx1x2xn人工神经元数学模型——多输入、单输出的加权和结构

设X=(x1,x2,…,xn)表示n个输入，W=(w1,w2,…,wn)表示它们对应的联结权重。故神经元所获得的输入信号累计效果为：w1?wixiw2wnx1x2xn称u(x)为整合函数。

感知器的激活函数神经元获得网络输入信号后，信号累计效果整合函数u(x)大于某阈值?时，神经元处于激发状态；反之，神经元处于抑制状态。构造激活函数?，用于表示这一转换过程。要求?是[-1,1]之间的单调递增函数。激活函数?通常为3种类型，由此决定了神经元的输出特征。

（1）激活函数?为符号函数：1-1u?

（2）激活函数?为分段线性函数：1-1u?

（3）激活函数?为Sigmoid函数，其特点是单调递增、光滑且具有渐近值，具有解析上的优点和神经生理学特征。?1-1u

M-P模型将人工神经元的基本模型与激活函数?结合，即McCulloch–Pitts模型。w1?u=?wixiw2wnx1x2xny=?(u(x)-?)

多层神经网络多层前向网的学习原理：基于适当定义的误差函数，在网络中调整权重矩阵和阈值等参数，使得误差函数极小化。12M21?x1N?y112c?y2?yc?W(1)?W(2)输入层(X)隐层(Z)输出层(Y)?x2?xN

神经网络的学习算法ANN的学习过程就是训练过程，在将训练样本集输入到网络的过程中，按照一定的方式来调整神经元之间的联结权重值，使得网络能够将训练样本集的内涵以联结权重矩阵的方式存储起来，从而使得网络在接受输入时，能够给出适当的输出。有监督的学习（Supervisedlearning）无监督的学习（Unsupervisedlearning）

基本思想感知器的学习是有监督的学习。学习的问题归结为求权重系数W=(w1,w2,…,wn)和阈值?的问题。基本思想：逐步将训练集中的样本输入到网络中，根据输出结果和理想输出之间的差别来调整网络中的权重值。w1?u=?wixiw2wnx1x2xny=?(u(x)-?)

x1o1输出层隐藏层输入层x2o2omxn…BP网络与BP学习算法BP网络是一种前向多层网络，是基于误差反向传播算法的有导师网络。BP网络通常有一个或多个隐层，隐层中的神经元均采用S型激活函数，输出层神经元采用线性传递函数。

BP网络与BP学习算法BP算法是一种有导师的学习算法，这种算法通常采用梯度下降法。BP算法解决了多层前向网络的学习问题，促进了神经网络的发展。如图所示为多层前向网络的一部分，其中有两种信号，一是实线表示的工作信号，工作信号正向传播；二是用虚线表示的误差信号，误差信号反向传播。

BP网络与BP学习算法BP学习过程可以描述如下：①工作信号正向传播：输入信号从输入层经隐单元，传向输出层，在输出端产生输出信号，这是工作信号的正向传播。在信号向前传递过程中网络的权值是固定不变的，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入误差信号反向传播。②误差信号反向传播，网络的实际输出与期望输出之间差值即为误差信号，误差信号由输出端开始逐层反向传播，这是误差信号的反向传播。在误差信号反向传播的过程中，网络的权值由误差反馈进行调节。通过权值的不断修正使网络的实际输出更接近期望输出。

人工神经网络应用

人工神经网络应用

分类界面

不同激活函数分类界面

不同激活函数分类界面

不同alpha值