动态K均值聚类算法在RBF神经网络中心选取中的应用概要.docVIP

83 TECHNOLOGY 引言 径向基函数神经网络 (RBFNN 以其简单的网络结 构、快速的学习方法、较好 的推广能力 ,已经广泛地应 用于许多领域 ,特别是模式识别和函数逼近等领域。然 而 , 如何有效地确定 RBF 神经网络的网络结构和参数 , 至今没有系统的规律可循。在 RBF 神经网络中需要确定 的参数包括隐含层节点数、隐含层基函数的中心值和宽 度、隐含层到输出层的连接权值。目前 ,隐含层节点数 主要依靠经验来选取。而根 据 moody 准则 ,神经网络的 设计应该在满足精度要求的情况下有最小的结构 ,以保证网络的泛化能力 [1] 。 由于隐含层基函数中心值的选取对网络的函数逼 近能力有很大的影响 ,目前最常用的确定隐含层中心值 的方法是 K- 均值聚类法。由于 K-均值聚类法的聚类过程 一般能够根据输入向量比较准确地确定聚类数和相应的 聚类中心 ,因此 ,如果在已知全部输入向量时使用该方 法能够比较精确地确定网络结构。但是 ,它要求实现确 定全部输入向量和指定聚类中心的数目 ,这在实际应用 中很难办到。而动态 K-均值聚类方法能够根据输入来实 时地确定网络的中心。因此 ,本文提出动态均值聚类方 法,对一般的 K-均值方法进行改进。 一、 BRF 神经网络的结构原理 RBF 神经网络最基本的结构形式是一种三层前向网 动态 K- 均值聚类算法 在 RBF 神经网络中心选取中的应用 ◆雷升锴 刘红阳 何 嘉 何险峰 薛 勤 摘要 :RBF 神经网络构造的关键问题是中心的选取 ,动态 K- 均值聚类算法 采用调整聚类中心的方法 ,使网络中心的选择更精确。本文先简介了 RBF 神经 网络的结构原理 ,然后将动态 K- 均值算法应用于 BRF 神经网络的中心选取 ,最 后进行了仿真实验。实验结果表明采用动态 K- 均值算法确定中心的 RBF 神经网 络逼近性能更好 , 具有较强的实用性。 关键词 :径向基函数 ;神经网络 ;动态均值聚类算法 ;函数逼近 络。网络的基本构成包括输入层、隐含层和输出层 ,各 层的节点数目分别为 P , M , L , 每一层都有着完全不同 的作用。其结构如图 1 所示。 第一层是输入层 ,由一些信号源节点 (感知单元 组 成,它们将网络与外界环境连接起来。第二层是隐含 层,由若干个隐节点构成。隐含层只有一个隐含层单 元 ,采用径向基函数作为其输出特性。第三层是输出 层,由若干个线性求和单元的输出节点 组成 ,它对输入 模式的作用产生响应。输入层节点传递输入信号到隐含 层。从输入 空间到隐含层空间的变换是非线性的 ,而从 隐含层空间到输出层空间的变换是线性 的。网络输出节 点计算隐节点给出基函数的线性组合。输入层到隐含层 之间的权 值固定为 1,只有隐含层到输出层之间的权值 W kj (k=1, 2, , L ; j=1, 2, 可 调,。M 图 1 RBF 神经网络的组成 TECHNOLOGY 在图 1 中,输入层由 P 个信号源节点组成。设 N 为当 前训练的样本总数 ,对于训练集的每个样本即为输入矢 量:X=(xl , x 2, p, x,其中 x i (i=1, ,为P网络的 第 i 个输入。隐含层由 M 个隐节点组成。每个隐含层节点的激活函数是一个径向基函数 ,它是一种局部分布的中心点径向对称衰减的非负非线性函数。由于高斯基函数具备表示形式简单、径向对称、光滑性好、易于进行 理论分析等优点 ,所以文中隐含层变换函数采用高斯基 函数 ,其表达形式如下所示 : j=1, 2, , M (1 其中 , 12p T 为网络输入矢量。 C j 为隐含层第 j 个高斯单元的中心矢量 ,与 X 具有相 同维数的向量 , C j =(cj1, c j2, , c jp , (j=l, 2, , M 。 ej 是第 j 个感知的变量 (可以自由选择的参数 , 是隐节点范数 ,表示 个节点的输 由高斯公式可 y L , 2 j w kj 为 第,2,,M 算法 RBF 网络中心学习过程分两步 :一是根据输入样本 确定隐含层各节点的变换函数的中心 C j 和半径 ρj 二;是 采用误差校正学习算法 ,调节输出层的权 W 。其目的就 是把输入数据分配到一定数目的有意义的类别中去 ,即 根据欧氏空间中的距离来对输入向量进行聚类。本文采 用自适应调整聚类中心的方法 —— 动态均值聚类法。 该方法的基本思想是 :首先已知据聚类中心的数 目,然后随着向量的输入 ,计算输入向量与特定聚类中 心的欧氏距离。如果距离小于门限值 ,则将该聚类中心 所对应的输入向量的平均值作为新的聚类中心 ;如果距 离大于门限值 ,则将刚输入的向量作为新的聚类中心。 再接着输入向量 ,直到确定所有的聚类中心。 2.2 动态 K- 均值