B神经网络.pptx

第2部分：BP神经网络 ;主要内容 一. 人工神经网络基本知识 生物神经网络、生物神经元 人工神经网络、人工神经元 人工神经网络三要素 典型激活函数 神经网络几种典型形式 二. 前馈神经网络、多层感知器、及非线性分类 三. BP神经网络 四. 数据处理及神经网络结构的选择 五. 应用 ;人工神经网络 是生物神经网络的某种模型(数学模型) 是对生物神经网络的模仿 基本处理单元为人工神经元;1. 生物神经系统与生物神经元 大量生物神经元的广泛、复杂连接，形成生物神经网络 (Biological Neural Network, BNN)。 实现各种智能活动 生物神经元(neuron)是基本的信息处理单元;(1)生物神经系统 生物神经元(neuron)是基本的信息处理单元,其组成： 树突(dendrites), 接收来自外接的信息 细胞体(cell body), 神经细胞主体，信息加工 轴突(axon), 细胞的输出装置，将信号向外传递， 与多个神经元连接 突触 （synapsse), 神经元经突触向其它神经元（胞体或树突）传递信号;(2)生物神经元的基本特征 神经元之间彼此连接 神经元之间的连接强度决定信号传递的强弱 神经元之间的连接强度可以随训练改变 学习、遗忘、疲劳 ----神经网络中各神经元之间连接的强弱，按外部的激励信号做自适应变化 兴奋与抑制 信号可以起兴奋作用，也可以起抑制作用 一个神经元接受信号的累积效果（综合大小，代数和）决定该神经元的状态(兴奋、抑制) 每个神经元可以有一个“阈值”;2. 人工神经网络与人工神经元 ;(1)基本的人工神经元模型 ;(1) 基本的人工神经元模型;(2) 输出函数f;(2) 输出函数f;(2) 输出函数f;主要内容 人工神经网络基本知识 二. 前馈神经网络、多层感知器、及非线性分类 三. BP神经网络 四. 数据处理及神经网络结 构的选择 五. 应用;;;2. 感知器神经网络(感知器)、感知器神经元; 感知器神经元的传递函数 单层感知网络可以实现线性分类;(1)多层感知器(MLP) 的一致逼近性;多层感知器示意;当神经元的输出函数为sigmoid等函数时，三层前馈网络(含两层计算单元)可以逼近任意的多元非线性函数。;主要内容 一. 人工神经网络基本知识、神经元与感知器 二. 前馈神经网络、多层感知器、及非线性分类 三. BP神经网络 四. 数据处理及 神经网络结构的选择 五 应用; 基于阈值神经元的多层感知器不足 隐含层不直接与外界连接，误差无法直接估计 中间层神经元的激活函数为阈值函数(或阶跃函数) 无法采用梯度下降法训练神经元权值 基于BP算法的多层感知器(BP网络) 各计算单元(神经元节点)传递函数：Sigmoid函数 误差逐层反向传播； 信号逐层正向传递;BP神经网络训练的两个阶段 (1)信号正向传递过程 输入信息从输入层经隐层逐层、正向传递，直至得到各计算单元的输出 (2)误差反向传播过程 输出层误差从输出层开始，逐层、反向传播，可间接计算隐层各单元的误差，并用此误差修正前层的权值.;;;;BP网络的优点 ①特别适合于求解内部机制复杂的问题 BP网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂非线性映射的功能 ②具有自学习能力 网络能通过学习带正确答案的实例集自动提取“合理的”求解规则 ③网络具有一定的推广、概括能力。;BP网络的问题，如： ①BP算法的学习速度较慢 ②网络训练失败的可能性较大 ③网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定。 ④网络的预测能力（泛化能力、推广能力）与训练能力（逼近能力、学习能力）的矛盾 。。。。。。;主要内容 一. 人工神经网络基本知识、神经元与感知器 二. 前馈神经网络、多层感知器、及非线性分类 三. BP神经网络 四. 数据处理及神经网络结构的选择 五 应用 ;PART1.输入/输出数据的处理 回归或状态预测，数据处理方式有所区别 建模前输入输出数据的预处理—正向标准化 建模后输入输出数据的后处理—反向标准化 特征的平移 特征的尺度调整 ?[0,1],[-1,1],[-a,a],[0,a] ;PART2.神经网络的层次选择 对