神经网络与数模讲义概要1.ppt

人工神经网络 （Artificial Neural Network，缩写 ANN ) 神经网络学习初期提示 人工神经网络定义 神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。 人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式。 人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。 神经网络的基本功能(1) 神经网络的基本功能(2) 神经网络的基本功能(3) 神经网络的基本功能(4) 神经网络的基本功能(5) 神经网络的基本特征 1.1 神经元模型 1.1 神经元模型 1. 2 基函数U(*) 的类型 1. 3 激活函数f(*) 的类型 1. 3 激活函数f(*) 的类型 1. 4 神经学习算法 1.5 神经网络的主要应用领域 目前关于人工神经网络的定义尚不统一 定义一 美国神经网络学家Hecht Hielsen关于人工神经网络的一般定义是：“神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的”。 定义二 美国国防高级研究计划局关于人工神经网络的解释是： “人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式。” 定义三 综合人工神经网络的来源、特点及各种解释，可以简单表述为： 人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。为叙述简便，后面常将人工神经网络简称为神经网络。 结构特征： 并行式处理 人工神经网络是由大量简单处理元件相互连接构成的高度并行的非线性系统，具有大规模并行性处理特征。。 分布式存储 结构上的并行性使神经网络的信息存储必然采用分布式方式，即信息不是存储在网络的某个局部，而是分布在网络所有的连接权中。一个神经网络可存储多种信息，其中每个神经元的连接权中存储的是多种信息的一部分。当需要获得已存储的知识时，神经网络在输入信息激励下采用“联想”的办法进行回忆。 容错性 以上特点必然使神经网络在两个方面表现出良好的容错性：一方面，由于信息的分布式存储，当网络中部分神经元损坏时不会对系统的整体性能造成影响，这一点就像人脑中每天都有神经细胞正常死亡而不会影响大脑的功能一样；另一方面，当输入模糊、残缺或变形的信息时，神经网络能通过联想恢复完整的记忆，从而实现对不完整输入信的正确识别，这一特点就像人可以对不规范的手写字进行正确识别一样。 能力特征： 自适应性 是指一个系统能改变自身的性能以适应环境变化的能力，它是神经网络的一个重要特征。自适应性包含自学习与自组织两层含义。 自学习 神经网络的自学习是指当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过自动调整网络结构参数，使得对于给定输入能产生期望的输出，训练是神经网络学习的途径，因此经常将学习与训练两个词混用。 自组织 神经系统能在外部刺激下按一定规则调整神经元之间的连接强度，逐渐构建起神经网络，这一构建过程称为网络的自组织（重构）。 (一) 记忆与联想能力 人脑有大约1.4?1011个神经细胞并广泛互连，因而能够存贮大量的信息，并具有对信息进行筛选、回忆和巩固的联想记忆能力。人脑不仅能对已学习的知识进行记忆，而且能在外界输入的部分信息刺激下，联想到一系列相关的存贮信息，从而实现对不完整信息的自联想恢复，或关联信息的互联想，而这种互联想能力在人脑的创造性思维中起着非常重要的作用。 计算机是一种基于算法的程序存取式机器，它对程序指令和数据等信息的记忆由存贮器完成。存贮器内信息的存取采用按顺序寻址的方式。若要从大量存贮数据中随机访问某一数据，必须先确定数据的存贮单元地址，再取出相应数据。信息一旦存入便保持不变，因此不存在遗忘问题；在某存贮单元地址存入新的信息后会覆盖原有信息，因此不可能对其进行回忆；相邻存储单元之间互不相干，“老死不相往来”，因此没有联想能力。 (二) 学习与认知能力 人脑具有从实践中不断抽取知识，总结经验的能力。刚出生的婴儿脑中几乎是一片空白，在成长过程中通过对外界环境的感知及有意识的训练，知识和经验与日俱增，解决问题的能力越来越强。人脑这种对经验作出反映而改变行为的能力就是学习与认知能力。 计算机所完成的所有工作都是严格按照事先编制的程序进行的，因此它的功能和结果都是确定不变的。计算机在反复按指令执行同一程序时得到的永远是同样的结果，它不可能在不断重复的过程中总结或积累任何经验，因此不会主动提高自己解决问题的能力。 (三) 信息加工能力