[理学]第十章 RBF.pptVIP

CSE 802. Prepared by Martin Law 径向基函数神经网络 河北大学工商学院 主要内容 网络结构 学习算法 两阶段训练法 三阶段训练法 程序实现 逼近理论 应用 分类 函数逼近 时间序列预测 RBFNN的网络结构 径向基神经网络（RBFNN）由三部分组成： 一组感知单元（源节点）组成输入层； 一层计算节点的隐含层； 一层计算节点的输出层。 RBFNN的网络结构（续） 输入层到隐含层的权值固定为1，偏差项固定为0，隐层和输出层激活函数分别为径向基函数和线性函数，定义为： RBFNN的网络结构（续） 典型的径向基函数有： RBFNN的网络结构（续） RBFNN的网络结构（续） RBFNN的学习算法 RBFNN的学习算法（续） ---两阶段学习法 训练样本： RBFNN的学习算法（续） ---两阶段学习法（续） 确定连接隐层和输出层的权重： RBFNN的学习算法（续） ---两阶段学习法（续） RBFNN的学习算法（续） ---两阶段训练方法（续） RBFNN的学习算法（续） ---三阶段学习方法 RBFNN的学习算法（续） ---三阶段学习方法（续） RBFNN的程序实现 用模糊c均值聚类得到K个聚类中心作为隐层高斯节点的中心向量，宽度参数用下面的公式求取： 用线性最小二乘方法初始化连接隐含层和输出层的权重和偏差项。 用梯度下降法优化所有的网络参数。 RBFNN的程序实现（续） 模糊c均值聚类算法： RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的程序实现（续） RBFNN的逼近理论 定理1：令 为径向基函数神经网络，它由函数 组成，其中： 是隐层节点的径向基函数， 为中心且 是宽度参数，若令G为可积的有界函数，则G几乎处处连续且满足 ，并且 ，则对于任何一个输入输出影射f(x)， 在Lp 范数下接近于f(x)。 RBFNN的逼近理论（续） 定理2：设G是含有一个隐含层的高斯径向基函数神经网 络的集合，其隐节点激活函数为： 其中 ，且 则对于任意定义在Id=[0,1]d上的C2函数f，则在G中存在 最佳逼近G0，且最佳逼近网络输出g0(x)与给定函数f(x) 满足： 其中 且 当 且 时，不等式变为： RBFNN的逼近理论（续） RBFNN的应用 分类 Ripley数据集 http://www.stats.ox.ac.uk/pub/PRNN/ RBFNN的应用（续） 分类 Iris数据集（F3和F4） 30%训练 70%测试 RBFNN的应用（续） 函数逼近 曲面方程： 数据点由20X20网格生成 RBFNN的应用（续） 函数逼近 RBFNN的应用（续） 时间序列预测 数据预处理： 给定一个时间序列T={xt|1≤t≤N}，需要为预测模型构造训练数据。 例子： 对于一个一步预测问题，窗宽(width)为3，构造过程如下： RBFNN的应用（续） 时间序列预测 Sunspots数据集（1700-1979年）窗宽：8 补充 训练网络前的准备 数据预处理： 分类：1. 训练数据的输入需要归一化 x’=(x-u)/sigma，u—所有训练样本的平均向量