智能信息处理03——神经网络.pptVIP

智能信息处理（3）—— 人工神经网络信息处理及其应用 授课单位：自动化工程系 授 课 人：滕召胜 2004.5 反馈型神经网络的所有节点之间都可互相连接，一个节点在接受其他节点的输入的同时，也向其他节点输出。 Hopfield网络是一种网状网络，可分为离散型与连续型两种，两种网络的结构相同。 3.6.1 离散型Hopfield网络 Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和0这两个值，也称离散Hopfield神经网络。在离散HopfieId网络中，采用的神经元是二值神经元，1和0分别表示神经元处于激活和抑制状态。 由三个神经元组成的离散Hopfield神经网络，其结构如图所示。 第0层 第1层 第0层仅仅是作为网络的输人，它不是实际神经元，所以无计算功能 第一层是实际神经元，执行对输人信息和权系数乘积求累加和，并由非线性函数f处理后产生输出信息 f 是一个简单的阀值函效，如果神经元的输出信息大于阀值θ，那么，神经元的输出就取值为1；小于阀值θ，则神经元的输出就取值为θ。 对于二值神经元，它的计算公式如下： 其中：xi为外部输入。并且有： Yi=1,当Ui≥θi时 Yi=0,当Uiθi时 对于一个离散的Hopfield网络，其网络状态是输出神经元信息的集合。对于一个输出层是n个神经元的网络，则其t时刻的状态为一个n维向量： Y(t)=[Y1(t),Y2(t),...,Yn(t)]T 因此，网络状态有2n个状态；因为Yj(t)(j＝1……n)可以取值为1或0；故n维向量Y(t)有2n种状态，即是网络状态。 三个神经元的离散Hopfield网络的输出层就是三位二进制数；每一个三位二进制数就是一种网络状态，从而共有8个网络状态。这些网络状态如图所示。在图中，立方体的每一个顶角表示一种网络状态。 同理，对于n个神经元的输出层，它有2n个网络状态，也和一个n维超立方体的顶角相对应。 电气与信息工程学院研究生课程 《智能信息处理》 * 电气与信息工程学院研究生课程 人工神经网络（Artificial Neural Network，ANN，简称神经网络）是利用工程技术手段模拟人脑神经网络的结果与功能的一种技术系统。 由于ANN具有自学习、自适应、联想记忆和非线性逼近等功能，基于ANN的信息处理，可在不具备对象的先验知识的条件下，依据对象的输入/输出数据直接建模，而且模型的在线校正能力强，能够适用于严重不确定和高度非线性的系统。 3.1 概 述 人工神经网络的研究已有50多年的历史，近年来，随着计算机技术的发展，神经网络技术获得了飞速发展，应用领域越来越广泛。 可以肯定，神经网络信息处理技术将在21世纪获得突破性进展，成为一种现代智能系统广泛应用的通用信息处理方法。 神经网络由一些具有自适应能力的简单单元及其层次组织的大规模并行联结构造而成，它模仿生物神经系统进行信息处理，是对人脑神经网络的简化模拟。神经网络中的基本单元是神经元。所谓神经元，就是多输入、单输出的信息处理单元。 3.2 神经网络的结构 第 k 神经元的 n 个输入 神经元的权值，第1个神经元与第 k 个 神经元的 连接强度，正为激活，负为抑制。 神经单元的阈值（门限值） 神经元的输出 神经元的输入总和 3.3 神经网络结构 神经网络结构是指神经网络的联结方式。 根据神经元之间连接的拓扑结构上的区别，神经网络结构可分分层网络和相互连接型网络两大类。 分层网络的神经网络由若干层组成，每层中有一定数量的神经元，相邻层间的神经元单向连接，同一层内的神经元之间不连接；而相互连接型神经网络的任何两个神经元之间都可能双向连接。 分层神经网络 相互连接型神经网络中任意两个单元之间都可能存在连接路径，可以认为是一种非线性动力学系统，因为对于给定的某一输入模式，由某一初始网络参数出发，在一段时间内，网络处于不断改变输出模式的动态变化中，最终，网络有可能进入周期性振荡模式，也有可能得到一个稳定的输出模式。 3.4 神经网络的学习与记忆 3.4.1 神经网络的学习方式 神经网络能够通过训练，获取环境知识，改变自身性能，使输入-输出变换朝更好的方向发展。学习功能是神经网络最显著的特征。神经网络的学习是通过调整连接权重实现的。 按学习方式分，神经网络的学习可分为有导