单隐层前向神经网络的学习算法研究.pptVIP

第六讲 人工神经网络简介及单隐层前向神经网络的学习算法研究 一 . 人工神经网络简介 神经网络种类 1.生物神经网络（Biological Neural Networks） 2.人工神经网络（Artificial Neural Networks) 1. 生物神经元  人脑是具有高度智能的复杂系统. 结构上，是140亿个神经细胞(neurons)互连的大规模神经网络. 通过超并行处理使得整个系统实现处理的高速性和信息表现的灵活性. 神经元组成：细胞体为主体. 神经元功能：刺激、 兴奋、传导、效应. 形状图 原 则 神经元间信息传递原则： 原则1 动态极化原则（即信号沿确定方向流动）. 树突 轴突 突触 其他神经元. 原则2 连接的专一性原则. 神经元之间元细胞质的连续. 神经元不构成随机网络. 每一神经元与一些神经元形成特殊的精确的联 系 . 突触传递信息特点 1 时延性 : （0.3－1ms） 2 综合性 ： 时间与空间的累加 3 类型： 兴奋与抑制 4 脉冲与电位转换: （D/A功能） 5 速度： 1＝150m/s 6 不可逆性（单向） 7 可塑性 : 强度可变 ,有学习功能 脑神经系统主要组成部分: 大脑皮层由许多功能区组成 （运动、听觉、视觉等） 神经元群 其区域性结构：遗传 其功能：后天对环境的适应于学习得来 （自组织特性Self-Organization） 连接形式 辐射式： 一到多 聚合式： 多到一 链锁式： 空间上加强与扩大作用 环式： 反馈作用（可正可负） 辐射式：一到多 聚合式：多到一 链锁式：空间上加强与扩大作用 环式：反馈作用（可正可负) 大脑处理信息的特点 1 分布存储与冗余性：记忆在大量元中，每个元存在许多信息的部分内容，信息在神经网络中的记忆反映在神经元间的突触连接强度（weights）. 2 并行处理：NN既是处理器又是存储器（并行处理不同于并行机）. 3 信息处理与存储合一：每个元兼有二者功能. 4 可塑性与自组织性：可塑性是学习记忆的基础. 5 鲁棒性：高连接度导致一定的误差和噪声不会使网络性能恶化。是智能演化的重要因素. 1.2 人工神经网络 研究大脑的目的： a）揭示功能造福人类 b）构造ANN用于工程及其他领域 （生物神经网络的模型化：ANN） BNN modeling ANN ANN非BNN模型，而是对结构及功能大大简化后保留主要特性的某种抽象与模型。 人工神经网络内容 1 人工神经元模型 （Artificial Neuron model） 2 人工神经网络的构成 （structure of ANN） 3 人工神经网络的学习 （learning or training of ANN） 1.神经元模型 神经元是人工神经网络的基本处理单元，它一般是一个多输入/多输出的非线性元件.神经元输出除受输入信号的影响之外，同时也受到神经元内部其他因素的影响，所以在人工神经元的建模中，常常还加有一个额外输入信号，称为偏差（bias），有时也称为阀值或门限值. 神经元的非线性模型 几种常用的作用函数 1、阈值型（硬限制型，Hardlim） 2、线性型（Purelin） 3、S型函数（Sigmoid） 4、径向基函数(Radial basis function) 1、阀值型（硬限制型） 2、线性型 3、S型函数（Sigmoid） a) 对数正切 y=1/(e-n+1) b)双曲正切 y=tanh(n) 4.径向基函数 神经网络基本模型 3.人工神经网络的学习 ANN研究中的核心问题 How to determine the weights(加权系数) NN在AC上应用的吸引力 任何精度逼近任意连接非线性函数（NL系统统一描述） 对复杂不确定问题具有自适应、学习能力 并行机制解决实时计算，并行机制冗余性容错能力 信息融合（Fusion），多媒体技术 神经计算 AC 优化 矩阵网络计算 易于VLSI、光学IC、计算机虚拟实现NN 3.2 糖尿病医疗问题的诊断 The end 1. 单隐层