BP神经网络与实例详解.ppt

人工神经网络Artificial Neural Netwroks -----ANN 什么是人工神经网络？ T.Koholen的定义：“人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体作出交互反应。” 人工神经网络目的与意义 争取构造出尽可能与人脑具有相似功能的计算机，即ANN计算机。研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。 神经元 当神经细胞透过神经突触与树突从其它神经元输入脉波讯号后，经过细胞体处理，产生一个新的脉波讯号。如果脉波讯号够强，将产生一个约千分之一秒100 毫伏的脉波讯号。这个讯号再经过轴突传送到它的神经突触，成为其它神经细胞的输入脉波讯号。 如果脉波讯号是经过兴奋神经突触（excitatory synapse），则会增加脉波讯号的速率；相反的，如果脉波讯号是经过抑制神经突触（inhibitory synapse），则会减少脉波讯号的速率。因此，脉波讯号的速率是不仅取决于输入脉波讯号的速率，还取决于神经突触的强度。 而神经突触的强度可视为神经网路储存信息之所在，神经网路的学习即在调整神经突触的强度。 空间整合、时间整合 空间整合：同一时刻来自不同神经元的输入信号，作用于神经元的不同突触，形成的突触电位将会代数相加。 时间整合：神经元对不同时刻通过同一个突触输入的神经脉冲有代数求和功能。 阈值电位 神经元对其他神经元的激励呈现非线性响应，如果膜电位高于阈值电位，则该神经元进入兴奋状态，产生一个尖峰脉冲，如果小于，则进入抑制状态，此时没有脉冲输出。 神经网络研究的发展 (1)第一次热潮(40-60年代未) 1943年,美国心理学家W.McCulloch和数学家W.Pitts在提出了一个简单的神经元模型，即MP模型。1958年，F.Rosenblatt等研制出了感知机。 (2)低潮(70-80年代初): 1969年，MIT学者M.Minsky和S.Papert编写了影响巨大的《Perceptron》一书，指出单层的感知机只能用于线性问题求解。 (3)第二次热潮 1982年，美国物理学家J.J.Hopfield提出Hopfield模型，它是一个互联的非线性动力学网络.他解决问题的方法是一种反复运算的动态过程,这是符号逻辑处理方法所不具备的性质. 1987年首届国际ANN大会在圣地亚哥召开，国际ANN联合会成立，创办了多种ANN国际刊物。1990年12月，北京召开首届学术会议。 人工神经元数学模型 其中x＝（x1，…xm）T 输入向量，y为输出，wi是权系数（连接强度），θ为阈值，f（X）是激活函数。 BP神经网络 Rumelhart，McClelland于1985年提出了BP网络的误差反向传播BP(Back Propagation)学习算法 BP算法基本原理 利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。 BP神经网络模型 三层BP网络 神经网络的学习 学习本质 学习的过程： 神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。 学习的本质： 对各连接权值的动态调整 BP网络的标准学习算法-算法思想 核心思想： 将输出误差以某种形式通过隐层向输入层逐层反传 学习类型 有监督或称有导师的学习，这时利用给定的样本标准进行分类或模仿； 无监督学习或称无为导师学习，这时，只规定学习方式或某些规则，则具体的学习内容随系统所处环境 （即输入信号情况）而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能。 BP网络的标准学习算法-学习过程 正向传播： 输入样本－－－输入层－－－各隐层－－－输出层 判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（教师信号）不符 误差反传 误差以某种形式在各层表示－－－－修正各层单元的权值 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止 BP网络的标准学习算法 网络结构 输入层有n个神经元，隐含层有p个神经元, 输出层有q个神经元 变量定义 输入向量; 隐含层输入向量； 隐含层输出向量; 输出层输入向量; 输出层输出向量; 期望输出向量; BP神经网络模型 激活函数 必须处处可导 一般都使用S型函数 使用S型激活函数时BP网络输入与输出关系 输入 输出 BP网络的标准学习算法 输入层与中间层的连接权值: 隐含层与输出层的连接权值: 隐含层各神经元的阈值: 输出层各神经元的阈值: 样本数据个数: 激活函数: