实数编码的遗传算法以及BP神经网络的优化工作.pptVIP

导师：孙名松 教授 目 录 课题背景 遗传神经网络 分类检测器同步检测模型 数据预处理 仿真实验 结束语和展望 发表论文 选题来源 本论文的项目背景是黑龙江省自然科学基金项目《基于多层前向神经网络的分布式入侵检测模型》，本文作为该项目的一个组成部分，将实数编码遗传算法与神经网络结合作为其中一个分布式Agent的检测算法。 论文主要内容 比较分析入侵检测方法，将实数编码的遗传算法优化BP神经网络初始权重应用于入侵检测； 为了提高入侵检测系统的检测效率和实时性，提出分类检测器同步检测模型； 论文主要内容 数据预处理，即把经过数据挖掘后的样本数据进行归一化处理； 二次处理，即对数据预处理后的数据进行深度处理，从而对样本数据进行有效性的压缩； 仿真实验，得出结论。 目 录 课题背景 遗传神经网络 分类检测器同步检测模型 数据预处理 仿真实验 结束语和展望 发表论文 实数编码遗传算法 遗传算法的主要特点是群体搜索策略和群体中个体之间的信息交换，搜索不依赖梯度信息，也不需要求解函数可微，只需要该函数在约束条件下可解，因此该方法适用于处理传统方法难以解决的复杂和非线性问题。 目前，遗传算法经常采用二进制编码，这有它自身的优点，如它能使交叉和变异操作容易实现，虽然采用二进制编码时算法处理的模式数最多，但在处理优化 实数编码遗传算法 问题时，会出现一些问题： “由于相邻整数的二进制编码结构可能出现很大的差异，这样会降低遗传算子的搜索效率，而且如果设计变量的精度很高，串长就很大，这样也降低了算法的效率，并且在进化过程中还要不停地进行编码和解码操作，计算时间比较长，所以在求解高维优化时，算法的搜索效率就更低了”。 实数编码遗传算法 而基于实数编码的遗传算法不存在编码和解码过程，能够大大提高解的精度和运算速度，因此，基于实数编码的遗传算法得到了越来越多的重视。 编码方式 由于实数编码的遗传算法不存在编码和解码过程，能够大大提高解的精度和运算速度，因此，本文采用实数编码。 适应度函数 所谓的适应度函数就是评价函数，将染色体上表示的各个权值分配到给定的网络结构中，网络以训练集样本为输入输出，运行后返回误差平方和的倒数作为染色体的适应度函数，如式(2-1)所示。 遗传算子设计 选择算子 采用适应度比例方法，计算每个个体的适应度值并将其排序，每个个体的选择概率和其适应度值成正比例。即适应度值越大，它被选择到的机会也就越大，从而被遗传到下一代的可能性也越大。 设群体大小为n，个体i的适应度值为fi，则被选择的概率为Psi，如式(2-2)所示 遗传算子设计 交叉算子 这里设计为具有数值特点的向量线性组合。如有两个个体Sa与Sb交叉，则产生的子代个体如式(2-3)、(2-4)所示。 其中，λ的取值在(0，1)。 遗传算子设计 变异算子 对于子代染色体中的每个权值输入位置，变异算子以概率Pm在初始概率分布中随机选择一个值，然后与该输入位置上的权值相加。 遗传算子设计 λ取值为0.5时进行交叉算子运算，如图2-1中交叉部分所示，两个个体经过交叉后生成两个新个体；变异算子运算如图2-1中变异部分所示；粗体斜体部分表示交叉或变异的位置 遗传算子设计 面向神经网络权重学习 神经网络的权值按一定的顺序级联为一个长串，串上的每一个位置对应着网络的一个权值。 面向神经网络权重学习 如图2-2所示，神经网络编码为： （1.4, -1.8, 3.6, 1.7, 0.9, -0.7, 4.5, -0.3, 1.3） 目 录 课题背景 遗传神经网络 分类检测器同步检测模型 数据预处理 仿真实验 结束语和展望 发表论文 系统总体结构 分类检测器同步检测模型 本文将“检测引擎模块”进行细化设计后提出“分类检测器同步检测”的模型，同步检测模型如图3-2所示。 同步检测算法描述 检测器调度算法采用多线程实现，由于涉及到线程同步问题，自然会想到同步锁，线程间优先权设置我们采用如下方法： 即四大类攻击中按样本数所占比例大小进行优先权的设置，所占比例越大，优先权就越大，这样，最后，优先权从高到低设置为“DOS、PROBE、R2L、U2R” 。 同步检测算法描述 算法描述 分别为每个检测器开启一个线程； 输入向量，按照线程优先权的大小，代表检测DOS类型攻击的检测器A首先获得该“锁”并对该输入向量进行