第三讲人工神经网络教学教材.ppt

;第三讲 人工神经网络;1997年5月11日深蓝战胜卡斯帕罗夫;许峰雄博士 ：“深蓝之父”、微软亚洲研究院的高级研究员，绰号：CB ——“疯狂的鸟”。他在1980年毕业于台湾大学，1989获得卡耐基梅隆大学计算机博士学位。他和同伴在1997年研制出大型计算机“深蓝”，拉开电脑与人脑的“世纪之战”，以“深蓝”战胜国际象棋世界冠军卡斯帕罗夫而告终，轰动全世界。2003年春，许峰雄加盟微软亚洲研究院。 ;人工神经网络 (Artificial Neural Networks);概述;和冯·诺依曼型计算机的区别I;和冯·诺依曼型计算机的区别II;研究ANN内容和方法;人脑的神经元1;信息输入;生物神经元——信息处理;生物神经元——信息处理;生物神经元——信息处理;生物神经元——信息处理;人脑的神经元2;生物学动机;例子;人工神经网络 (Artificial Neural Networks);神经网络发展历史;人工神经网络 (Artificial Neural Networks);神经网络的基??单元-感知器;神经网络的基本单元-感知器;神经网络的基本单元-感知器;;ANN的假设空间;线性可分;不能区分;Functions for Perceptrons;XOR;感知器训练法则1;感知器训练法则2-I;感知器训练法则2-II;感知器法则：一个例子;感知器法则3;梯度下降和delta法则(1);梯度下降和delta法则（2）;可视化假设空间;梯度下降法则（1）;梯度下降法则（2）;梯度下降的随机近似(1);梯度下降的随机近似（2）;感知器学习小结;人工神经网络 (Artificial Neural Networks);多层网络和反向传播算法(1);多层网络和反向传播算法(2);可微阈值单元;可微阈值单元(2);反向传播算法(1);反向传播算法(2);基本BP算法;反向传播法则的推导;符号说明;随机梯度下降法则的推导;随机梯度下降法则的推导（２）;BP网络拓扑结构;向后传播阶段——误差传播阶段 输出层权的调整 ?wpq= αδqop =αfn′ (netq)(yq-oq)op =αoq(1-oq) (yq-oq)op 隐藏层权的调整;包含两层sigmoid单元的前馈网络的反向传播算法;误差反传I;误差反传II;误差反传III;反向传播算法适合问题的特征;终止条件;反向传播算法的变体:增加冲量项;收敛性和局部极小值(1);收敛性和局部极小值(2);前馈网络的表征能力;假设空间的搜索和归纳偏置;隐藏层表示(1);隐藏层表示(2);泛化、过度拟合;过度拟合;过度拟合解决方法;过度拟合解决方法（2）;举例：人脸识别(1);举例：人脸识别(2);人脸识别——设计要素(1);人脸识别——设计要素（2）;人脸识别——设计要素(3);学习到的隐藏层表示;人工神经网络 (Artificial Neural Networks);小结(1);*