人工神经网络课程nn03.pptVIP

马尽文 第2章 前馈型人工神经网络 2.2 自适应线性单元组成的网络 2.2 自适应线性单元组成的网络 M-P模型 感知机模型与学习算法 多层感知机网络 自适应线性单元与网络 非线性连续变换单元组成的前馈网络 BP算法 2.2 自适应线性单元组成的网络 自适应线性单元(Adaline)是由Widrow于1961年 提出来的一种自适应可调节的网络，可应用于信号处理中的自适应滤波，预测和模型识别。 1.自适应线性单元的模型 2.2 自适应线性单元组成的网络 在 时刻，自适应线性单元的权矢量为： 对于输入样本和理想输出为： 我们有： 其中 用于权值的学习，与目标值 相对应； 表示输入模式的二元分类结果。 2.2 自适应线性单元组成的网络 学习方式采用LMS算法(在2.1节已经推导过）： Adaline的特点：可以根据外界的输入情况和要求的响应随时学习，十分灵活。 2.用于非线性分割的自适应网络 对于单层的Adaline网络，由于它的形式与感知机相同，因而它也只能解决一般线性分类问题。为了要达到非线性分类的目的，一般可采用下列两种方法： 2.2 自适应线性单元组成的网络 (i). 辅助输入法 对于输入向量为 ，扩展其二次或更高次项，将其改变为 。例如，当 时，可令 ，则 这样 便是一个二次曲线，使用圆或椭圆便可以解决非线性分类问题。 这一方法也适应于感知机，即建立高阶感知机。 缺点：随着维数和次数的增加， 大量增加，增加了计算复杂度。 2.2 自适应线性单元组成的网络 例如，对于二次扩展情况，则 显然，随着 的增大， 急剧的增大，大大的增加了复杂度。但实际上还不能完全解决二元分类问题。 2.2 自适应线性单元组成的网络Q (ii). Madaline网络：有多个Adaline单元组成的多层前馈网络，具有非线性分类能力。 2.2 自适应线性单元组成的网络 一般多层前馈型Madaline网络结构 信息的传输： 通过模拟值进行学习，而向前传的是数字信号，因此功能上等同于多层感知机网络。 2.2 自适应线性单元组成的网络 2.多层Madaline网络的学习算法 多层Madaline网络的学习分为两部分：首先使用MRII算法计算每一层的输出要求，然后使用单层的LMS算法来完成每一层间的权学习，交替进行最后得到正确的（或误差最小的）权值。 (i).MRII算法 基本思想是在网络中干扰最小的绝对值输出单元，从左向右改变 的输出值符号，并保留误差较小的符号值，以得到各个 对于一个样本的理想输出值。最后单元根据这一理想值采用LMS算法进行学习。 2.2 自适应线性单元组成的网络 算法步骤： 1）初始化网络的权，用一个随机值作为各个权的初始值。 2）输入一个样本数量 和希望输出 ，按层一步一步的计算出实际输出，并求出与希望输出 的误差。 3）根据最小干扰原则，从第一隐层开始，找出该层单元中模拟输出最接近于0的那个单元，让其输出的数字量改变符号。若网络的误差减小，则接受这种改变，否则恢复原来的符号。 2.2 自适应线性单元组成的网络 4）第一个单元训练完后，转入下一个单元，即模拟输出第二个接近0的单元，依然按上述规则进行训练。当所有单元训练完后，再按2个一组，3个一组，… ，直到误差达到最小值结束（或全部组对训练完）。 5）当上一层训练完后，再训练下一层，直到所有样本训练完毕。这样就得到了所有隐单元的希望输出值。 6）对另一个新的样本采用同样的方法进行训练。 7）通过LMS算法对每一层进行学习，得到全部权的解。 2.2 自适应线性单元组成的网络 (ii).单层AD的LMS算法分析 实际中，单层AD的LMS算法采用下面形式： 其中 为迭代次数（时刻）， 为 时刻的样本矢量， 为 时刻的误差， 分别为当前和下一时刻的权矢量。 当 是双极矢量时，即分量为 ，这时有： 为常数。 2.2 自适应线性单元组成的网络 误差为： 当权改变时，其误差改变为： 故得： 这说明，对网络的一个输入样本，误差的变化是缩小当前误差的 倍。因此，选择 可控制算法的收敛速度和稳定性。 2.2 自适应线性单元组成的网络 3. Adaline 和 Madaline的应用 (i).在信号处理中的应用：Adaline自适应滤波器 2.2 自适应线性单元组成的网络 系统建模 对于线性系统（分量叠加型或延时叠加型），都可通过上述系