Chapter1神经网络的概述.doc

实用标准文案 PAGE 精彩文档 计算智能(CI: Computational Intelligence) 使用计算科学和技术模拟人的智能的结构和行为：信息的获取、传递、处理、再生和利用能力 主要包括：（三大基础） All of the nature-inspired methods. 参考书： M. T. Hagan, H. B. Demuth, and M. H. Beale, 神经网络设计，机械工业出版社，2002. S. Kumar, Neural Networks, 清华大学出版社，2006. 许东等，基于MATLAB6.x的系统分析与设计——神经网络，西安电子科技大学出版社，2002. Chapter 1 神经网络概述 起始：1940’s初，且导致了人工智能的研究 低潮：1960’s末 重新兴起：1980’s 中，热潮，几乎应用于所有工程领域 下坡：2000以后。 重新兴起的两个标志性的成果： 多层前向网络的BP算法(1986)：逼近任意函数 Hopfield网络(1984)：TSP问题，联想记忆 人工神经网络 (Artificial Neural Networks) 1.什么是人工神经网络？ 人工神经网络是人类中枢（大脑）神经系统的简化模型，是由大量简单的并行分布的计算单元（神经元，neurons）互相连接而成的自适应非线性系统。 2. 模拟人脑在两个方面 (1) 通过学习获取知识 (learning, training)； (2) 知识存储在神经元及其之间的连接上。 二、神经元模型 1. 生物神经元 （人类大脑神经元） (1) 什么是生物神经元 生物神经元是一个小细胞，具有如下功能： 接收来自感官或其它细胞的输入； 产生电输出响应，并传给其它神经元。 人脑包含：神经元 (2) 基本结构 三个主要成分：细胞体、轴突、树突 突触(连接强度) 突触(连接强度) 树突：Input (接收信息) 细胞体 轴突：Output (传输信息) Fig 1. 生物神经元简图 树突 （接收信息） 接收来自其它神经元的电信号，并传给细胞体。 细胞体 （信息处理器） 信息处理器：对输入信号， （数学描述） 轴突 （传输信息） 把细胞体的输出信号传给其它神经元。 突触 （储存信息） 轴突和树突的结合点（两神经元之间）。例如，新记忆的形成是通过改变突触的强度（液状体）来实现。 2. 人工神经元 (1) 什么是人工神经元 人工神经元是生物神经元的简单的模仿、简化和抽象，是一个极其简单的计算单元（函数）。 (2) MP模型 (McCulloch(神经解剖学家), Pitts(数学家), 1943） 简图 Fig. 2. 人工神经元模型 神经元实现了的极其简单的非线性函数： ， 其中 —输入，Input（来自其它神经元的信号）； —输出，output (轴突上的电信号)； —权值，weight (突触的强度)； —阈值、门限，threshold; —激活函数、传输函数，activation function, transfer function. 例、实现逻辑函数“与门”（AND gate）运算。 真，0—假，用一个两输入的神经元实现。 神经元输入 神经元输出 0 0 0 1 0 0 0 1 0 1 1 1 . Remark 正是此例，使人们看到了人类智能与计算机的联系，兴起了神经网络的研究，产生了人工智能(AI: Artificial Intelligence)学科。 三、神经网络三要素 激活函数、网络结构、学习规则 1. 激活函数 (Activation Functions) (1) 线性激活函数 (用于ADLINE network) (2) 硬限幅激活函数 (用于Perceptron) 对称的硬限幅激活函数 (3) Sigmoid (S形)激活函数 ， 性质： 对称（双曲正切）S形激活函数 2. 网络结构 Two Types: 多层前向网络 (Multilayer Feedforward Networks) Static: 实现非线性映射。 递归(反馈)网络 (Recurrent (Feedback) Networks) Dynamic: The networks are classical examples of non-linear dynamical systems. (1) 单隐层的前向