人工神经网络-BP.ppt

主要内容 一. 人工神经网络基本知识 生物神经网络、生物神经元 人工神经网络、人工神经元 人工神经网络三要素 典型激活函数 神经网络几种典型形式 二. 前馈神经网络、多层感知器、及非线性分类 三. BP神经网络 四. 数据处理及神经网络结构的选择 五. 应用 主要内容 人工神经网络基本知识 二. 前馈神经网络、多层感知器、及非线性分类 三. BP神经网络 四. 数据处理及神经网络结 构的选择 五. 应用 2. 感知器神经网络(感知器)、感知器神经元 感知器神经元的传递函数 单层感知网络可以实现线性分类 (1)多层感知器(MLP) 的一致逼近性 单个阈值神经元可以实现任意多输入的与、或及与非、或非逻辑门。 任何逻辑函数可由两层前馈网络（一层计算单元）实现。 三层或三层以上的前馈网络通常称为多层感知器 多层感知器的适用范围大大超过单层网络。 多层感知器示意 主要内容 一. 人工神经网络基本知识、神经元与感知器 二. 前馈神经网络、多层感知器、及非线性分类 三. BP神经网络 四. 数据处理及 神经网络结构的选择 五 应用 基于阈值神经元的多层感知器不足 隐含层不直接与外界连接，误差无法直接估计 中间层神经元的激活函数为阈值函数(或阶跃函数) 无法采用梯度下降法训练神经元权值 基于BP算法的多层感知器(BP网络) 各计算单元(神经元节点)传递函数：Sigmoid函数 误差逐层反向传播； 信号逐层正向传递 BP神经网络训练的两个阶段 (1)信号正向传递过程 输入信息从输入层经隐层逐层、正向传递，直至得到各计算单元的输出 (2)误差反向传播过程 输出层误差从输出层开始，逐层、反向传播，可间接计算隐层各单元的误差，并用此误差修正前层的权值. 主要内容 一. 人工神经网络基本知识、神经元与感知器 二. 前馈神经网络、多层感知器、及非线性分类 三. BP神经网络 四. 数据处理及神经网络结构的选择 五 应用 主要内容 一. 人工神经网络基本知识、神经元与感知器 二. 前馈神经网络、多层感知器、及非线性分类 三. BP神经网络 四. 神经网络结构的选择 五 应用 回归 状态预测 BP网络的优点 ①特别适合于求解内部机制复杂的问题 BP网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂非线性映射的功能 ②具有自学习能力 网络能通过学习带正确答案的实例集自动提取“合理的”求解规则 ③网络具有一定的推广、概括能力。 BP网络的问题，如： ①BP算法的学习速度较慢 ②网络训练失败的可能性较大 ③网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定。 ④网络的预测能力（泛化能力、推广能力）与训练能力（逼近能力、学习能力）的矛盾 。。。。。。 PART1.输入/输出数据的处理 回归或状态预测，数据处理方式有所区别 建模前输入输出数据的预处理—正向标准化 建模后输入输出数据的后处理—反向标准化 特征的平移 特征的尺度调整 ?[0,1],[-1,1],[-a,a],[0,a] PART2.神经网络的层次选择 对多层网络要确定选用几个隐含层？ 1988年Cybenko指出，若各节点均采用S型函数，则 一个隐含层足以实现任意判决分类问题； 两个隐含层足以实现输入图形的任意输出 网络层次选取依经验和情况而定，通常不宜过多。 PART3.节点数目的确定 输入层、输出层、隐含层节点数 1. 输入层节点数的确定 节点数=输入向量的维数 2.输出层节点数的确定 节点数取决于: 输出的表示方法; 类别数目； 待逼近的函数数目。 (1)两类别问题 单输出型 1个判别函数，1个输出节点 (2)多类别问题 输出节点数是类别数：“C中取1(1-of-C)” C位“0-1”二进制编码 输出节点数是二进制编码的状态数 8类问题，3位二进制数 可能会需增加1个隐含层以满足要求 (3)输出节点数是待逼近的函数个数 隐含层节点数目越大，网络学习能力越强，但不能保证预测能力好 —“过学习(过拟合)” overfitting 隐含层节点不能过少，网络不能构建