第九章-MLP.pptVIP

CSE 802. Prepared by Martin Law 多层感知器神经网络 河北大学工商学院 主要内容 网络结构 学习算法 带有动量项的误差反传法 程序实现 逼近理论 应用 分类 函数逼近 时间序列预测 MLP的网络结构 多层感知器（MLP）由三部分组成： 一组感知单元（源节点）组成输入层； 一层或多层计算节点的隐含层； 一层计算节点的输出层。 MLP的网络结构（续） 三层MLP，隐层和输出层激活函数分别为Sigmoid函数和线性函数，定义为： MLP的网络结构（续） MLP的学习算法 MLP的学习算法（续） ---带有动量项的误差反传算法 训练样本： 误差函数： 链式求导法则： MLP的学习算法（续） ---带有动量项的误差反传算法（续） 权重和偏差项的改变量： 根据带有动量项的反传算法有： MLP的学习算法（续） ---带有动量项的误差反传算法（续） 误差反传算法的4个步骤： 步骤1：初始化网络权重和偏差项 和 ，设置学习率 和动量常数 使 ； 步骤2：对输入向量 ，计算网络输出和目标输出的误差 ，如果误差大于预先给定的阈值，则进入步骤3，否则转入步骤4。 步骤3：如果迭代次数最大迭代次数，则进入步骤4，否则按以下公式更新权重和偏差项 并返回步骤2； 步骤4：停止训练。 MLP的程序实现 MLP的程序实现（续） MLP的程序实现（续） MLP的程序实现（续） MLP的程序实现（续） MLP的程序实现（续） MLP的程序实现（续） MLP的程序实现（续） MLP的程序实现（续） MLP的程序实现（续） MLP的程序实现（续） MLP的程序实现（续） MLP的程序实现（续） MLP的程序实现（续） MLP的程序实现（续） MLP的逼近理论 定理1：令 为有界、非常量的单调递增连续函数，Id为d维单位超立方体[0,1]d。C(Id)表示定义在Id上的连续函数构成的集合，则给定任何函数 C(Id)且 则存在整数n和一组常数 和 ，（指标 ）使得网络输出 可任意逼近 ，即： MLP的逼近理论（续） 定理2：对于任意一个具有有限一阶绝对动量 的连续函数 ，且对任意 ，存在一个sigmoid函数的线性组合 ，使得： 其中 为半径为 的球体，且 。 MLP的应用 分类 Ripley数据集 http://www.stats.ox.ac.uk/pub/PRNN/ MLP的应用（续） 分类 Iris数据集（F3和F4） 30%训练 70%测试 MLP的应用（续） 函数逼近 曲面方程： 数据点由20X20网格生成 MLP的应用（续） 函数逼近 MLP的应用（续） 时间序列预测 数据预处理： 给定一个时间序列T={xt|1≤t≤N}，需要为预测模型构造训练数据。 例子： 对于一个一步预测问题，窗宽(width)为3，构造过程如下： MLP的应用（续） 时间序列预测 Sunspots数据集（1700-1979年）窗宽：8 补充 训练网络前的准备 数据预处理： 分类：1. 训练数据的输入需要归一化 x’=(x-u)/sigma，u—所有训练样本的平均向量 sigma—训练样本的标准差 2. 训练数据的输出最好变成向量形式 y=3?y=[-1,-1,1]T 函数逼近： 1. 训练数据的输入需要归一化； 2. 训练数据的输出亦需归一化 t’=(t- tmin)/(tmax - tmin)。 补充（续） MLP的缺陷 问题： 1. 网络的隐含节点个数选取问题至今仍是一个 世界难题（Google, Elsevier, CNKI）； 2. 停止阈值、学习率、动量