Ch4 神经网络算法.docVIP

Ch4 神经网络算法，neti是处理单元i的输入，oj是与i相连的单元的输出，wij是其权值。 神经网络需要通常学习来修改权值、每个结点的阈值。 神经网络简介 1943年，心理学家 McCulloch和数学家Pitts，共同提出了形式神经元的数学模型即MP模型，研究客观世界的事件在形式神经网络中的表达。 1949年，心理学家Hebb，结合大脑神经细胞、学习和条件反射的观察与研究，提出了改变神经元连接强度的Hebb规则。 1959年，RosenBlatt发展了MP模型，提出了多层感知机Perceptron，试图模拟动物和有脑的感知和学习能力。 1960年，Widrow提出自适应的线性单元模型Adaline、Widrow-Hebb规则(也称为(规则) 1969年，Grossberg 提出自适应共振理论ART，并形成了ART1、ART2、ART3三版本。 1984年，Kohonen提出自组织映射理论SOM，并对联想存储器进行了研究。 1980年，Fukushima提出了神经认知网络理论。 1980年，Werbos提出了误差反传理论BP 1982年，Hopfield引入能量函数，研究网络的动力学性质，并用电子线路设计出相应网络，开拓了神经网络用于联想记忆和优化计算的新途径，进入神经网络的新时代。 1986年，Rumehart、Maclelland提出PDP理论，发展了多层前向网络的BP算法