bp神经网络专题知识.ppt

BP神经网络专题知识;关键内容 一. 人工神经网络基础知识 生物神经网络、生物神经元 人工神经网络、人工神经元 人工神经网络三要素 经典激活函数 神经网络多个经典形式 二. 前馈神经网络、多层感知器、及非线性分类 三. BP神经网络 四. 数据处理及神经网络结构 选择 五. 应用 ;人工神经网络 是生物神经网络 某种模型(数学模型) 是对生物神经网络 模仿 基础处理单元为人工神经元;1. 生物神经系统与生物神经元 大量生物神经元 广泛、复杂连接, 形成生物神经网络 (Biological Neural Network, BNN)。 实现多种智能活动 生物神经元(neuron)是基础 信息处理单元;(1)生物神经系统 生物神经元(neuron)是基础 信息处理单元,其组成: 树突(dendrites), 接收来自外接 信息 细胞体(cell body), 神经细胞主体, 信息加工 轴突(axon), 细胞 输出装置, 将信号向外传输, 与多个神经元连接 突触 （synapsse), 神经元经突触向其它神经元（胞体或树突）传输信号;(2)生物神经元 基础特征 神经元之间相互连接 神经元之间 连接强度决定信号传输 强弱 神经元之间 连接强度能够随训练改变 学习、遗忘、疲惫 ----神经网络中各神经元之间连接 强弱, 按外部 激励信号做自适应改变 兴奋与抑制 信号能够起兴奋作用, 也能够起抑制作用 一个神经元接收信号 累积效果（综合大小, 代数和）决定该神经元 状态(兴奋、抑制) 每个神经元能够有一个“阈值”;2. 人工神经网络与人工神经元 ;(1)基础 人工神经元模型;(1) 基础 人工神经元模型;(2) 输出函数f;(2) 输出函数f;(2) 输出函数f;关键内容 人工神经网络基础知识 二. 前馈神经网络、多层感知器、及非线性分类 三. BP神经网络 四. 数据处理及神经网络结 构 选择 五. 应用;;;2. 感知器神经网络(感知器)、感知器神经元; 感知器神经元 传输函数 单层感知网络能够实现线性分类;(1)多层感知器(MLP) 一致迫近性;多层感知器示意;当神经元 输出函数为sigmoid等函数时, 三层前馈网络(含两层计算单元)能够迫近任意 多元非线性函数。;关键内容 一. 人工神经网络基础知识、神经元与感知器 二. 前馈神经网络、多层感知器、及非线性分类 三. BP神经网络 四. 数据处理及 神经网络结构 选择 五 应用; 基于阈值神经元 多层感知器不足 隐含层不直接与外界连接, 误差无法直接估量 中间层神经元 激活函数为阈值函数(或阶跃函数) 无法采取梯度下降法训练神经元权值 基于BP算法 多层感知器(BP网络) 各计算单元(神经元节点)传输函数: Sigmoid函数 误差逐层反向传输; 信号逐层正向传输;BP神经网络训练 两个阶段 (1)信号正向传输过程 输入信息从输入层经隐层逐层、正向传输, 直至得到各计算单元 输出 (2)误差反向传输过程 输出层误差从输出层开始, 逐层、反向传输, 可间接计算隐层各单元 误差, 并用此误差修正前层 权值.;;BP网络 优点 ①尤其适合于求解内部机制复杂 问题 BP网络实质上实现了一个从输入到输出 映射功效, 而数学理论已证实它含有实现任何复杂非线性映射 功效 ②含有自学习能力 网络能经过学习带正确答案 实例集自动提取“合理 ”求解规则 ③网络含有一定 推广、概括能力。;BP网络 问题, 如: ①BP算法 学习速度较慢 ②网络训练失败 可能性较大 ③网络结构 选择尚无一个统一而完整 理论指导, 通常只能由经验选定。 ④网络 估计能力（泛化能力、推广能力）与训练能力（迫近能力、学习能力） 矛盾 。。。。。。;关键内容 一. 人工神经网络基础知识、神经元与感知器 二. 前馈神经网络、多层感知器、及非线性分类 三. BP神经网络 四. 数据处理及神经网络结构 选择 五 应用 ;PART1.输入/输出数据 处理 回归或状态估计, 数据