第1章人工神经网络概述.ppt

2006-4-28 北京科技大学 信息学院 付冬梅 人工神经网络 Artificial Neural Networks 课程安排与要求 第一章：概论 人工神经网络的发展历史 人工神经网络的定义、特点和应用 从生物神经元到人工神经元 第二章 人工神经网络的基本模型 人工神经元的基本模型 几种典型的激活函数 人工神经网络的学习算法概述 人工神经网络的基本拓扑结构 课程安排与要求 第三章：感知器人工神经网络 单个感知器模型与解决问题的能力 单层感知器模型与解决问题的能力 单层感知器的学习算法 单层感知器的局限性问题 多层感知器的设计方法 单层感知器的MATLAB设计与实现 课程安排与要求 第五章：BP人工神经网络 BP人工神经网络模型与结构 BP学习算法 BP网络的局限性问题 BP网络的应用要点 BP算法的MATLAB实现与应用实例 改进的BP算法 课程安排与要求 第六章：RBF人工神经网络 RBF人工神经网络模型与工作原理 RBF的生理学基础 RBF的学习算法 RBF的MATLAB实现与应用实例 RBF的特点及其它问题 课程安排与要求 第七章：Hopfield人工神经网络 离散Hopfield网络模型与运行方式 离散Hopfield网络的稳定性 离散Hopfield网络的设计问题 离散Hopfield网络的联想存储 连续Hopfield网络模型与运行方式 连续Hopfield网络的稳定性 人工神经网络(Artificial Neural Networks， 简记作ANN）， 人工神经网络是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。 几种不同的定义 1）Hecht—Nielsen（1988年） 人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元(PE—Processing Element)具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的 1）Hecht—Nielsen（1988年）（续） 信号，信号的大小不因分支的多少而变化。处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。 Hecht—Nielsen定义主要强调了： ① 并行、分布处理结构； ② 一个处理单元的输出可以被任意分枝，且 大小不变； ③ 输出信号可以是任意的数学模型； ④ 处理单元完全的局部操作 2） Rumellhart，McClelland，Hinton的PDP 一组处理单元（PE或AN）； 处理单元的激活状态（ai）； 每个处理单元的输出函数（fi）； 处理单元之间的联接模式； 传递规则（∑wijoi）； 把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）； 通过经验修改联接强度的学习规则； 系统运行的环境（样本集合）。 3） Simpson（1987年） 人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。 人工神经网络对生物神经网络模拟时的几个关键点 1）信息的分布表示； 2）运算的全局并行与局部操作； 3）处理的非线性特征。 人工神经网络对大脑基本特征的模拟 1）形式上：神经元及其联接； 2）表现特征：信息的存储与处理。 目前人工神经网络擅长两个方面： 对大量的数据进行分类，并且只有较少的几种情况； 必须学习一个复杂的非线性映射。 目前人工神经网络的主要应用领域： 人们主要将其用于语音、图像、视觉、知识处理、辅助决策等方面。 在数据压缩、模式匹配、系统建模、控制、求组合优化问题的最佳解的近似解（不是最佳近似解）等方面也有好的应用。 从生物神经网络到人工神经网络 人工神经元 模拟　生物神经元 生物神经元 生物神经元 人工神经元 生物神经元 人工神经元 生物神经元－－信息处理单元 信息输入 生物神经元－－信息处理单元 信息 　传播 　　　与 　处理 　　 生物神经元－－信息处理单元 信息 　传播 　　　与 　处理（整合） 　　 生物神经元－－信息处理单元 信息 　传播 　　　与 　处理： 　　兴奋或抑制 　　 生物神经元－－信息处理单元 信息输出 生物神经元－－信息处理单元 生物神经元－－信息处理单元 生物神经