T-S型模糊神经网络与入侵检测.pptVIP

2007-03-07 哈尔滨理工大学网络信息中心 T-S型模糊神经网络与入侵检测 哈尔滨理工大学 卜明玮 T-S型模糊神经网络与入侵检测 主要内容 T-S型模糊神经网络介绍 BP算法原理用于T-S FNN模糊参数学习 遗传算法用于T-S FNN的权值学习 T-S FNN应用于入侵检测数据分析 T-S型模糊神经网络介绍 T-S FNN的结构 T-S型模糊神经网络介绍 T-S FNN结构的说明 网络由前件网络和后件网络两部分组成 前件网络用来匹配模糊规则的前件 后件网络用来产生模糊规则的后件 T-S型模糊神经网络介绍 前件网络 第一层为输入层。 第二层每个结点代表一个语言变量值 第三层的每个结点代表一条模糊规则, 它的作用是用来匹配模糊规则的前件, 计算出每条规则的适用度。 第四层的结点数与第三层相同, 它所实现的是归一化计算 T-S型模糊神经网络介绍 后件网络 它由r 个结构相同的并列子网络组成, 每个子网络产生一个输出量。 输入层中第0个结点的输入值x0= 1, 它的作用是提供模糊规则后件中的常数项。 子网络的第2层共有m 个结点, 每个结点代表一条规则, 该层的作用是计算每一条规则的后件 T-S型模糊神经网络介绍 yk是各规则后件的加权和, 加权系数为各模糊规则的归一化适用度, 也即前件网络的输出用作后件网络第3层的连接权值。 这里不考虑各输入分量的模糊分割数的划分, 需要学习的参数主要是后件网络的连接权以及前件网络第2层各结点隶属函数的中心值及宽度 T-S型模糊神经网络与入侵检测 T-S型模糊神经网络介绍 BP算法原理用于T-S FNN模糊参数学习 遗传算法用于T-S FNN的权值学习 T-S FNN应用于入侵检测数据分析 BP算法原理用于T-S FNN模糊参数学习 我们先用一个简单的BP网络结构说明BP算法的原理，下面是具有一个隐含层的BP网络的结构 BP算法原理用于T-S FNN模糊参数学习 BP算法是一种监督式的学习算法，其主要思想是：q输入学习样本（P1, P2,…, Pq），己知与其对应的期望输出样本为：T1，T2，…，Tq。学习的目的是用网络的实际输出A1，A2，…，Aq与目标矢量T1，T2，…，Tq之间的误差来修改权值，使Ai（i=1，2，…，q）与期望的Ti尽可能地接近，即是网络输出层的误差平方和达到最小。 BP算法原理用于T-S FNN模糊参数学习 以前面图中所示的三层网络为例进行BP算法推导，设输入为P，输入神经元有r个，隐含层有s个神经元，激活函数为f1，输出层内有t个神经元，对应的激活函数为f2，输出为A，目标矢量为T。 BP算法原理用于T-S FNN模糊参数学习 信息的正向传递 隐含层中第k个神经元的输出为： 输出层中第l个神经元的输出为： 定义误差为 BP算法原理用于T-S FNN模糊参数学习 利用梯度下降法求权值变化及误差的反向传播 梯度下降法 是一种对某个准则函数的迭代寻优算法。设J(a)是准则函数，a为一向量。d为J(a)在点ak的梯度，为一向量，其方向为J(a)增长最快的方向；负梯度方向，则是减少最快的方向。因此，若求某函数的极大值，沿梯度方向走，可以最快的速度到达极大点；反之沿负梯度方向走，可以最快地到达极小点。 BP算法原理用于T-S FNN模糊参数学习 利用梯度下降法求权值变化及误差的反向传播 输出层的权值变化 其中 同理可得： BP算法原理用于T-S FNN模糊参数学习 隐含层的权值变化 其中： 同理可得： BP算法原理用于T-S FNN模糊参数学习 现在考虑T-S型模糊神经网络中前件网络的隶属函数参数的学习问题。先将后件网络的连接权参数W j i固定，从而T-S FNN的结构图可以简化为如下形式。 BP算法原理用于T-S FNN模糊参数学习 依据前面介绍的ＢＰ算法原理，可依次求得每一层的误差 最后求得一阶梯度 BP算法原理用于T-S FNN模糊参数学习 在求得所需的一阶梯度后，最后可以给出参数的学习算法为 T-S型模糊神经网络与入侵检测 T-S型模糊神经网络介绍 BP算法原理用于T-S FNN模糊参数学习 遗传算法用于T-S FNN的权值学习 T-S FNN应用于入侵检测数据分析 遗传算法用于T-S FNN的权值学习 遗传算法的主要特点是： 遗传算法使用参数集的编码，而不是参数本身； 遗传算法目标函数指引遗传过程, 不是采用求导数或其它定理； 遗传算法在点群上搜索寻优，而不是一个点； 遗传算法使用可能性变换法，而不是定论法则。 遗传算法用于T-S FNN的权值学习 遗传算法的简要框图 遗传算法用于T-S FNN的权值学习 改进遗传算法并用于训练连接权 这里的算法对SGA作以下改进 采用实数编