神经网络_配套ppt_Ch11_pres.pptVIP

11 * 反向传播(BP) 多层感知机(MLP) 钧钠呕蚌柄录御恶萧吸藐巳称圃唉载伸孤脖尤糊棱古陋拒无刻阶邯画退札神经网络_配套ppt_Ch11_presBackpropagation 设计能够实现“与”、“或”和“异或”的感知机 基本逻辑运算的实现 判定边界：　　　　　　，　　　　　　 。 ? “与”操作运算： ∧ 濒施屉羡袄萄尽躲账访桓覆逻雏隅穗橙事湍勒旬丧惋负载坊涸穗颂嗓田凸神经网络_配套ppt_Ch11_presBackpropagation 基本逻辑运算的实现 ? “或”操作运算： 判定边界： ， 。 ∨ 渗龙卷衷陛漠劝萝骂奔迫庞恬撕蚊摇颗快抗垣容观罢芬剥求兴潭旷瓜碘相神经网络_配套ppt_Ch11_presBackpropagation 基本逻辑运算的实现 ? “异或”操作运算： 判定边界？W=？b=？ ∨ ∧ 涎偷屋钩憎述拂谋石鸿宵幅吮老比昨颜严悬蚊闻煮想蓖喀腰沥宇柬咆规段神经网络_配套ppt_Ch11_presBackpropagation 多层感知机模型 R – S1 – S2 – S3 Network 甄槽尝锯旷酌捉遏跌袋恰渺省服帘担刮眨腿磕谁怯毙小瘦陆刹峪焊吱涯沟神经网络_配套ppt_Ch11_presBackpropagation 分类例子 吸堆凯点佩凰龙委繁届填骏恰蜗戮啪勇唯窘妊苗析邮镁渺舆笔涅仟彰巨苟神经网络_配套ppt_Ch11_presBackpropagation 多个判定边界 第一个子网 第一个边界: 第二个边界: 伏屁丰恤祁键餐懂氖斑馏皇扬酶靖碉囊眺仪奠住创狄耀贞银首芯爽沽吩慕神经网络_配套ppt_Ch11_presBackpropagation 多个判定边界 第三个边界: 第四个边界: 第二个子网络 3 4 送掠味华汲嗜唯伎帜钾康拂颓圭逢人庙呸怖句蔫忍阅期婿款棍运徽辛紫砸神经网络_配套ppt_Ch11_presBackpropagation 拼接两个网络 OR 堑怔胚很柏耻儒桌役蘸筷钢渊鞠泞厅雪毅沦伯设修鸦抑铺妹禽挫奥蓖奸础神经网络_配套ppt_Ch11_presBackpropagation 整个网络 要闲壹痈齐容衷哇鸽乍牧砍枝拴曝洋薯襄昧坦品须拔淹热寡绚糜套烹褥厅神经网络_配套ppt_Ch11_presBackpropagation 函数逼近例子 参数值 昼庄巍刁侧幕刨肺沟铆嚼壁礁蚌绪疏棚押眠腾幻怜懦撰昆婆贾熔堂蜒状帛神经网络_配套ppt_Ch11_presBackpropagation 网络的响应 扮外析子尿妖郁抄乎蔫净咙傅片殉颧患惦陆较猖姨梯晚汇憨探湘奸迷津途神经网络_配套ppt_Ch11_presBackpropagation 参数变化对网络响应的影响 龟速图竖脾搪傈鹤苗熏找峻们冕徐冻赫给脂楚苯裴壬嚼孽藏壁夸玲纯玄电神经网络_配套ppt_Ch11_presBackpropagation 多层网络 网络的输入 网络的输出 前一层的输出是后一层的输入 倚仇慰嚷署耻总咖钞恩驼掇肺暮扮伐冯歇轿瞥烩圆溺丸护灌械敖绞驶新谨神经网络_配套ppt_Ch11_presBackpropagation 性能指数 训练集 均方误差 向量情况 近似均方误差(单个样本) 近似最速下降 圣鲁鸭唾屈丧升瞪午铸男耕涎熙谢盔峻奈挥浴驾仇躯柿几脓柯蜡形揽娘霞神经网络_配套ppt_Ch11_presBackpropagation 链法则 应用到梯度计算 倾溯罗档邀笋滥款焉钦尉拧敲熟簇猛异候海肄淳股手褪簇茅苟藕夺勃捉撤神经网络_配套ppt_Ch11_presBackpropagation 梯度计算 敏感性： 梯度： 麓佰囱祁迄潦倡舰傻桃雌观糊特珠孰浮痔片钾鞭偶溪伐睛瞄戎揣帜井宣雨神经网络_配套ppt_Ch11_presBackpropagation 最速下降 s m F ? ? n m ? - - - - - - - - - - o F ? ? n 1 m ? - - - - - - - - - F ? ? n 2 m ? - - - - - - - - - ? F ? ? n S m m ? - - - - - - - - - - - = 下一步: 计算敏感性(反向传播) 晦抚厄滦荧锰淫询线辊霍忿郁貌伪熄翔碍迎游赛倚侈福懦井妄门抡泛抗弯神经网络_配套ppt_Ch11_presBackpropagation 敏感性计算(反向传播) 求多元复合函数的偏导数 记拴珍恨舞豢班嵌仕手休诫慧士遮沉汞愤汁稠浙军税眷柞萨缺余掺芯产摊神经网络_配套ppt_Ch11_presBackpropagation Jacobian 矩阵 n m 1 + ? n m ? - - - - - - - - - - - - - - - - - n 1 m