人工神经网络概述.pptxVIP

第8章 人工神经网络〔Artificial Neural Network，ANN〕 第8章 人工神经网络8.1 人工神经网络概述8.2 神经元模型8.3 ANN的学习算法8.4 应用举例 一、人工神经网络的提出AI研究的两大学派：符号主义——用计算机从外特性上模仿人脑宏观的功能连接主义——在微观内部结构上模仿人脑的神经 一、人工神经网络的提出符号主义认为： 智能活动的根本元素是符号； 智能活动的过程是符号处理的过程。连接主义认为： 智能活动的根本元素是神经元； 智能活动的过程是大量的相联结的神经元的并行作用的过程。 二、人工神经网络的历史早期阶段〔～1960’s〕1943 McCulloch和Pitts 提出神经元的数学模型〔MP模型〕1949 Hebb 提出权重加强的学习机理1957 Rosenblatt 感知机〔perceptron〕有认知学习功能1969 Mingsky 专著“perceptron〞 证明线性〔单层〕感知 机不能解决XOR问题，ANN进入低潮 二、人工神经网络的历史过渡期〔1970’s〕低潮中，许多学者深入研究ANN理论、模型。MIT的Marr提出视觉模型Boston Univ的Grossbery全面研究ANN理论，提出ART1，ART2，ART3自适应谐振理论模型。甘利俊一 ANN的数学理论Fuknshima 神经认知网络理论芬兰的Kohonen 自组织联想记忆 二、人工神经网络的历史高潮〔1980～〕1982 加州理工 Hopfield提出结点全互联ANN模型〔Hop模型〕，用单层ANN解决了TSP问题1987.6 ICNN〔International Conference on NN〕召开1987 加州理工 Abn－mostafa，Psaitis 2D联想存储输入残缺图案也可识别1988 ATT Bell lab 120*120元件的ANN1989 三菱 光学ANN芯片，32个神经元识别26个字母1989 日立 5“硅片集成576个神经元1990 Bell Lab 黄庭钰 数字光学处理器1990 IBM AS400 提供ANN仿真开发环境1992 SGI 将ANN用于航天飞机控制臂ANN已在专家系统、智能控制等领域广泛应用 第8章 人工神经网络8.1 人工神经网络概述8.2 神经元模型8.3 ANN的学习算法8.4 应用举例 一、生物神经网的构成树突〔Dendrite〕胞体(Soma) ?轴突〔Axon〕突触〔Synapse〕 二、MP模型x2 w2?xn wn…x1 w1?Fy 二、MP模型线性函数 y=kx+cxyoc 二、MP模型阈值函数 θ 二、MP模型S形函数〔Sigmoid Function〕 yx0 二、MP模型考虑偏置与阈值，神经元模型 x2 w2?xn wn…x1 w1?Fy?s 三、ANN连接模型前馈型网络 x1z1输出层隐藏层输入层x2z2zmxn…………W’w 三、ANN连接模型前馈型网络 输入/输出：二值〔0,1〕或连续值权值：可正可负权值矩阵：学习的过程——不断修改权值的过程 三、ANN连接模型反响型网络 x1z1输出层隐藏层输入层x2z2zmxn…………W’w 三、ANN连接模型反响型网络层间反响——非线性动力系统层内反响——横向抑制、竞争Hopfield网是单层节点全互连的反响网…… 第8章 人工神经网络8.1 人工神经网络概述8.2 神经元模型8.3 ANN的学习算法8.4 应用举例 8.3 ANN的学习算法ANN的学习算法可分为有导师学习无导师学习 自学习、自组织 一、Hebb学习规那么两个细胞同时兴奋，那么它们之间连接〔权〕应加强。属于无导师学习 二、反向传播算法 (Back-Propagation, B-P算法) 〔有导师学习〕用于前馈网络从训练范例集中取一训练时，输入网络正向传播求输出计算输出与应有输出之误差反向传播，逐层修正权值，使误差减小重复以上步骤，直至整个训练集误差最小。 总结 ANN的学习算法 第七章 人工神经网络8.1 人工神经网络概述8.2 神经元模型8.3 ANN的学习算法8.4 应用举例 8.4 应用举例XOR 1　　　　　　θ=0.5 -1 1 -1