多输出神经元模的多层前向神经网络及其应用.pdf

摘摘 要要 摘摘 要要 神经网络是高度非线性动力学系统 又是自适应自组织系统 可用来描述认 知 决策及控制等的智能行为 使得智能的认识和模拟成为神经网络理论研究的 一个重要方面 同时 神经网络理论又成为信息并行处理的基础 PDP 并行分布 80 处理 成为 年代中后期的一个研究新热点 它进一步拓展了计算概念的内涵 使神经计算 进化计算成为新的研究领域 引起了包括计算机科学 人工智能 认识科学 信息科学 微电子科学 自动控制与机器人 脑神经科学等学科与领 域的科学家的巨大热情和广泛兴趣 然而 传统神经元的 M-P 模型用连接权值和非线性激活函数分别模仿神经元 的突触和细胞体的作用 在训练过程中 权值是可以调节的 但激活函数不能调 节 是事先确定的 这种模型过于简单 其性能受到极大的限制 基于此 人们 提出激活函数可调的神经元模型 TAF 以及由此模型构成的多层前向神经网络 TAF-MFNN 与传统网络相比 采用这种新型的神经元模型来解决某些问题 时 所需要的网络会更为简单 网络性能会更好 推广泛化能力也会更强 但 BP 是 用来训练这种网络的 算法收敛速度慢 容易陷入局部极小 众所周知 RLS 算法具有收敛速度快 收敛精度高等优点 本文将激活函数 可调的神经网络进行变形 使得变形后的网络和原网络等价 给出了网络学习的 快速算法 通过仿真实验 改进的算法大大提高网络的收敛速度和精度 在此基 础上 本文将激活函数可调的神经网络进行改进 提出了多输出神经元模型 MO 以及由此模型构成的多层前向网络 MO-MFNN 并给出了网络的 RLS 算法 LM 算法 LMAM 算法和 OLMAM 算法 通过仿真实验 得到结论 在训 练样本不太大时 选择利用 LM 算法 LMAM 算法和 OLMAM 算法来训练网络 在训练样本很大时 选择利用RLS 算法来训练网络 在神经网络的训练中大多用如下均方误差函数 MS 作为网络的训练目标函 MS MS 数 直到现在 大多数快速算法都是基于 基础上得到的 但是 有两个主要 MS 缺点 一方面 误差函数面存在很多的次最优解 在网络的训练过程中 易于陷 I 入这些次最优解 另一方面 MS 误差函数是一个能满足各种不同方面应用的通用 判决标准 利用 MS 误差函数训练网络容易出现过拟和现象 为了提高网络的性 能 如降低测试误差和提高网络的泛化能力 在一些特殊的应用中 需考虑额外 的假设和启发性的信息 其中一个利用先验知识的技巧是正则化方法 即构造一 个正则化的目标函数 本文研究了 MO-MFNN 带正则化因子的学习算法 仿真实 验表明 利用MO-MFNN 可以减小计算复杂度和存储量 神经网络具有并行性和自然容错性的能力 非常适合于非线性系统的实时自 适应控制 到目前为止 还没有一种较为成熟的快速在线学习算法 而快速在线 学习算法是实时控制的关键 多输出神经元模型的多层前向神经网络具有极大的 网络容量 泛化能力强 网络结构简单 待定参数少 在线学习速度快 仿真实 验表明 利用MO-MFNN 进行非线性系统控制可以大大减小 CPU 时间 使其应用 实时控制成为可能 关键词关键词 多输出神经元模型 RLS 算法 LM 算法 LMAM 算法 OLMAM 算法 关键词关键词 非线性系统 自适应控制 II Abstract Neural networks is a high nonlinear dynamical and adaptive