暑期数学建模培训-神经网络--12资料.ppt

* * ANj为输出层神经元 * * 所以， 故，当ANj为输出层的神经元时，它对应的联接权wij应该按照下列公式进行调整： ANj为输出层神经元 * * ANj为隐藏层神经元 函数 * * ANj为隐藏层神经元 netk= oj … o2 o1 oHh netk是 oj下一级的神经元的网络输入 * * ANj为隐藏层神经元 * * ANj为隐藏层神经元 * * ANj为隐藏层神经元 希望咱平顶山学院师生继续努力，在全国大学生数学建模竞赛中，能早日实现国家一等奖的突破！ 继续努力吧！！ * * * * BP网络 主要内容： BP网络的构成 隐藏层权的调整分析 Delta规则理论推导 算法的收敛速度及其改进讨论 BP网络中的几个重要问题 重点：BP算法 难点：Delta规则的理论推导 * * BP网络 1 概述 2 基本BP算法 3 算法的改进 4 算法的实现 5 算法的理论基础 6 几个问题的讨论 * * 概述 1、BP算法的出现 非循环多级网络的训练算法 UCSD PDP小组的Rumelhart、Hinton和Williams1986年独立地给出了BP算法清楚而简单的描述 1982年，Paker就完成了相似的工作 1974年，Werbos已提出了该方法 2、弱点：训练速度非常慢、局部极小点的逃离问题、算法不一定收敛。 3、优点：广泛的适应性和有效性。 * * 基本BP算法 网络的构成 神经元的网络输入： neti=x1w1i+x2w2i+…+xnwni 神经元的输出： * * 输出函数分析 ??0.5 f ′(net) 0.25 o 0 1 ? 1 （0,0.5） ?net （0,0） o 应该将net的值尽量控制在收敛比较快的范围内 可以用其它的函数作为激活函数，只要该函数是处处可导的 * * 网络的拓扑结构 x1 o1 输出层 隐藏层 输入层 x2 o2 om xn … … … … … … … W(1) W(2) W(3) W(L) * * 网络的拓扑结构 BP网的结构 输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定 实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。 BP网一般都选用二级网络。 * * 网络的拓扑结构 x1 o1 输出层 隐藏层 输入层 x2 o2 om xn … … … … W V * * 训练过程概述 样本：(输入向量，理想输出向量) 权初始化：“小随机数”与饱和状态；“不同”保证网络可以学。 1、向前传播阶段： （1）从样本集中取一个样本(Xp，Yp)，将Xp输入网络； （2）计算相应的实际输出Op： Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L)) * * 训练过程概述 2、向后传播阶段——误差传播阶段： （1）计算实际输出Op与相应的理想输出Yp的差； （2）按极小化误差的方式调整权矩阵。 （3）网络关于第p个样本的误差测度： （4） 网络关于整个样本集的误差测度： * * 误差传播分析 1、输出层权的调整 wpq= wpq+?wpq ?wpq=αδqop =αfn′ (netq)(yq-oq)op =αoq(1-oq) (yq-oq)op wpq ANp ANq 第L-1层 第L层 ?wpq * * 隐藏层权的调整 ? ANp ANq ANh vhp δpk-1 δ1k wp1 wpq δqk wpm δmk 第k-2层 第k层 第k-1层 … … * * 隐藏层权的调整 δpk-1的值和δ1k，δ2k，…，δmk 有关 不妨认为δpk-1 通过权wp1对δ1k做出贡献， 通过权wp2对δ2k做出贡献， …… 通过权wpm对δmk做出贡献。 δpk-1= fk-1′(netp) (wp1δ1k+ wp2δ2k+…+ wpmδm k) * * 隐藏层权的调整 vhp=vhp+?vhp ?vhp=αδpk-1ohk-2 =αfk-1 ′(netp)( wp1δ1k+ wp2δ2k+…+ wpmδmk)ohk-2 =αopk-1(1-opk-1)( wp1δ1k+ wp2δ2k+…+ wpmδmk)ohk-2 ANp ANq ANh vhp δpk-1 δ1k wp1 wpm δqk wpq δmk 第k-2层 第k层 第k-1层 … … * * 内容回顾 基本BP算法 neti=x1w1i+x2w2i+…+xnwni * * 内容回顾 x1 o1 输出层 隐藏层 输入层 x2 o2 om xn … … … … W V * * 内容回顾 样本 权初始化 向前传播阶段 Op=Fn(…(F2(F1(XpW(1))W(2))…)W(n)) 误差测度 * * 内容回