神经网络算法.pptVIP

第1页，共17页，星期日，2025年，2月5日神经网络方法简介与应用神经网络方法概述神经网络方法基础（以BP网络为例）神经网络方法应用举例（人脸和手写数字）神经网络方法发展前景（功能柱-神经场）第2页，共17页，星期日，2025年，2月5日21世纪:?智能科学Actionsfromthoughts(Nature409,2001)第3页，共17页，星期日，2025年，2月5日人工神经元的基本构成胞体(Soma)枝蔓（Dendrite）胞体(Soma)?轴突（Axon）突触（Synapse）人工神经元模拟生物神经元的一阶特性。输入：X=（x1，x2，…，xn）联接权：W=（w1，w2，…，wn）T网络输入： net=∑xiwi向量形式： net=XW激活函数：f网络输出：o=f（net）InputsignalSynapticweightsSummingfunctionActivationfunctionLocalFieldvOutputox1x2xnw2wnw1w0x0=+1第4页，共17页，星期日，2025年，2月5日一组突触和联结，联结具有权值W1,W2,…,Wn通过加法器功能，将计算输入的权值之和net=∑xiwi激励函数限制神经元输出的幅度o=f（net）第5页，共17页，星期日，2025年，2月5日典型激励函数netooc线性函数（LinerFunction）f（net）=k*net+cγ-γθ-θneto非线性斜面函数（RampFunction）a+bo(0,c)netac=a+b/2S形函数第6页，共17页，星期日，2025年，2月5日典型网络结构简单单级网……x1x2…xno1o2onwnmw11w1mw2mwn1输出层输入层 第7页，共17页，星期日，2025年，2月5日输出层x1o1w11w1mx2o2w2m………xnomwn1输入层 V单级横向反馈网第8页，共17页，星期日，2025年，2月5日多级网输出层隐藏层输入层o1o2om…x1x2xn………………第9页，共17页，星期日，2025年，2月5日循环网x1o1输出层隐藏层输入层x2o2omxn…第10页，共17页，星期日，2025年，2月5日基本BP算法

——非循环多级网络基本BP算法neti=x1w1i+x2w2i+…+xnwni 第11页，共17页，星期日，2025年，2月5日BP网络拓扑结构x1o1输出层隐藏层输入层x2o2omxn…………WV第12页，共17页，星期日，2025年，2月5日BP网络训练过程（1）样本权初始化向前传播阶段Op=Fn(…(F2(F1(XpW(1))W(2))…)W(n))误差测度第13页，共17页，星期日，2025年，2月5日向后传播阶段——误差传播阶段输出层权的调整?wpq=αδqop=αfn′(netq)(yq-oq)op=αoq(1-oq)(yq-oq)op隐藏层权的调整ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk……?vhp=αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2BP网络训练过程（2）第14页，共17页，星期日，2025年，2月5日压缩函数（SquashingFunction）和逻辑斯特函数（LogisticFunction）。f（net）=a+b/(1+exp(-d*net))a，b，d为常数。它的饱和值为a和a+b。最简单形式为：f（net）=1/(1+exp(-d*net))函数的饱和值为0和1。S形函数有较好的增益控制****单单级网：W=（wij）输出层的第j个神经元的网络输入记为netj： netj=x1w1j+x2w2j+…+xnwnj其中,1≤j≤m。取NET=（net1，net2，…，netm）NET=XWO=F（NET）****单级横向反馈网：V=（vij）NET=XW+O