第2章单层前向网络及LMS学习算法题材.doc

第2章 单层前向网络及LMS学习算法 在众多人工神经网络模型中，最为简单的就是所谓的单层前向网络，它是指拥有的计算节点（神经元）是“单层”的。本章所要介绍的单层感知器（Perceptron）和自适应线性元件 Adaptive Linear Element，Adaline 模型均属于典型单层前向网络。 感知器是由美国学者Rosenblatt在1958年首次提出的作为有导师学习（也即是有监督学习）的模型。单层感知器是指包含一个突触权值可调的神经元的感知器模型，它的训练算法是Rosenblatt在1958年和1962年提出的。感知器是神经网络用来进行模式识别的一种最简单模型，但是由单个神经元组成的单层感知器只能用来实现线性可分的两类模式的识别。 在信号处理领域，单个神经元也用来作为自适应线性元件进行自适应滤波，Widrow和Hoff在1960年提出了易实现但效率高的自适应滤波的LMS算法（Least-Mean-Square algorithm, LMS），可称之为最小均方误差规则或梯度算法，也称规则 Delta rule 。感知器和LMS算法在历史上几乎同时提出的，并且两者在对权值的调整的算法非常相似，它们都是基于纠错学习规则的学习算法。LMS算法由于其容易实现而很快得到了广泛的应用，成为自适应滤波的标准算法。 本章将首先介绍单层感知器及其学习算法，然后介绍自适应线性元件以及LMS算法