神经网络的控制1-模型.pptVIP

b) 正线性 S型函数（Sigmoid）a) 对数正切 y=1/(e-n+1) b)双曲正切 y=tanh(n) 4.辐射基函数a) 高斯函数 b)三角波函数 人工神经网络的构成 基本模型 连接的几种基本形式 前向网络（feed-forward Networks） 回归网络（recurrent Networks） 互联网络（全互连与局部互连） 也可是以上几种形式的组合 神经网络基本模型 前向网络 结构图 前向网络特点 1. 神经元分层排列，可又多层 2. 层间无连接 3. 方向由入到出 感知网络（perceptron即为此） 应用最为广泛 回归网络 全反馈结构图 Inner RNN结构图 回归网络特点 Output 与 Input相连（全反馈） 特点：1. 内部前向 2. 输出反馈到输入 例： Fukushima网络 Inner recurrent 特点：层间元互相连接 互联网络 结构图 互联网络特点 每个元都与其它元相连 例： Hopfield Boltzmann机 1.2.3人工神经网络的学习 ANN研究中的核心问题 How to determine the weights(加权系数) 学习规则简介 关于学习问题 学习：实例学习 举一反三的能力 机器学习: 从数据中归纳出规律,进行预测或者对其性质作出判断 神经网络—启发式学习 支持向量机---统计学习理论 学习规则 1）直接设计计算 e.g. Hopfield 作优化计算 2）学习得到,即通过训练(training) 常用学习规则 a) Hebb学习 D.Hebb1949年提出：两元同时兴奋，则突触连接加强 b)δ学习规则 误差校正规则 梯度方法 （BP即为其中一种） c) 相近学习规则 使 ART SOFM 自组织竞争用此规则 ANN 与BNN比较 数学观点 ANN与BNN的比较 数学观点 ANN使一个以处理单元（PE： process element）为节点，用加权有向弧连接而成的有向图。 （1）每个节点有一个状态变量;（2）节点i到节点j有一个连接权值;（3）每个节点有一个阈值；（4）每个节点定义一个变换函数。 PE是对BN的模拟，有向弧是对“轴突—树突”对的模拟。 综合全部有向弧形成的互连矩阵强度对应于人脑中信息的长期记忆。 PE由NL函数实现单元I/O的NL映射，即时活跃值对应于人脑中的短期记忆。 ANN与BNN的比较 BNN ANN 单元上差别 影响因素多 忽略了影响 关系简单 信息上差别 脉冲 模拟电压 规模及智能 大, 高 小 个元 低 Part2 Artificial Neural Network第二部分 人工神经网络 之一 －－神经网络基础 一、神经网络概论 神经网络种类 生物神经网络（Biological Neural Networks） 人工神经网络（Artificial Neural Networks) 1.1 生物神经元网络 1.1.1生物神经元 1.1.2人脑神经网络 1.1.1 生物神经元。  人的大脑由1012个神经元构成，神经元互相连接成神经网络 神经元组成：细胞体为主体 神经元功能：刺激、兴奋、传导、效应 形状图 神经元类型 原则 突触传递信息特点 形状图 类型 单极——无脊椎动物 双极——视网膜神经元neuron 多极——脊椎、锥体、小脑蒲根 1.1.2 人脑神经网络 脑神经系统主要组成部分 大脑皮层由许多功能区组成（运动、听觉、视觉等） 神经元群 其区域性结构：遗传 其功能：后天对环境的适应于学习得来 （自组织特性Self-Organization） 子功能模块的并行关系 a) 连接形式 b) 大脑处理信息的特点 C) 生物学研究成果 连接形式 辐射式：一到多 聚合式：多到一 链锁式：空间上加强与扩大作用 环式：反馈作用（可正可负） 辐射式：一到多 聚合式：多到一 链锁式：空间上加强与扩大作用 环式：反馈作用（可正可负) 大脑处理信息的特点 分布存储与冗余性：记忆在大量元中，每个元存在许多信息的部