第3章节 前向网络.ppt

第三章 监督学习神经网络 3. 1 单层感知器 3.1.1 感知器模型 3.1.2 单节点感知器的功能分析 3.1.3感知器的学习方法 3.1.4 感知器的局限性及解决途径 3. 2 BP神经网络 3.2.1 BP网络模型 3.2.2 BP学习算法 3.2.3 BP算法程序实现 3.2.4 BP网络的主要能力 3.2.5 误差曲面与BP算法的局限性 3. 3 BP算法的改进 3. 3. 1 增加动量项 3. 3. 2 自适应调节学习率 3. 3. 3 引入陡度因子 3. 4 BP网络设计基础 3.4.1 网络信息容量与训练样本数 3.4.2 训练样本集的准备 3.4.3 初始权值的设计 3.4.4 BP网络结构设计 3.4.5 网络训练与测试 3. 5 BP网络应用与设计实例 3.5.1 BP网络用于催化剂配方建模 3.5.2 BP网络用于汽车变速器最佳档位判定 3.5.3 BP网络用于图像压缩编码 3.5.4 BP网络用于水库优化调度 3.5.5 BP网络用于证券预测 3.5.6 BP网络用于信用评价模型及预警 对于处理层，其净输入为加权和： 3.1.2 单节点感知器的功能分析 考虑下图： （1） 两个分量x1, x2, 构成一个2维平面，输入样本可以用一个点表示，输出为： 直线上方netj0，输出1；下方netj0，输出-1。样本分成两类。 （2） 三个分量x1, x2, x3，构成一个3维空间，输入样本可以用一个点表示，输出为： 输出分为2类，可以使用感知器完成。 //在T=0.1 h=0.1的与逻辑运 //算 采用单极点二值函数 实验程序： function yu1() close all; rand(state,sum(100*clock)) %时钟随机初始化 X=[-1 0 0;-1 0 1;-1 1 0;-1 1 1]; %输入样本 d=[0 0 0 1]; %期望输出 h=0.1; %学习率 p=4;%样本数量 epoch=100;%最大训练次数 T=0.1;%阀值 W=rand(1,3);%权值初始化 W(1)=T; W1=[];%权值W1的变化矩阵 W2=[];%权值W2的变化矩阵 err=[]; k=0;%实际迭代次数 figure(1) subplot(3,1,1) x=1:k; plot(x,err,b-) xlabel(迭代次数) ylabel(error) title(误差的收敛曲线) subplot(3,1,2) plot(x,W1,r-) xlabel(迭代次数) ylabel(W1) title(权值W1的变化过程) subplot(3,1,3) plot(x,W2,y-) xlabel(迭代次数) ylabel(W2) title(权值W2的变化过程) 与运算的结果 The final error is:0 The epoch is:4 The final W is:0.29274 0.17031 The final T is:0.1 the result is: x1 x2 y 0 0 0 0 1 0 1 0 0 1 1 1 思考：如果采用单极点函数、双极点函数呢？ 例3.1 将下面数据分类： 可以找到一条直线分类。假设直线方程为 例3.2 将下面四个样本数据分类： 可以看出用2条直线分为4类。如图所示。 3.1.3 感知器的学习算法 考虑训练过程中权值随时改变，以t表示学习步的序号，权值看作t的函数，按照如下方法训练： 本节小结 本节作业 ◆上网搜索感知器神经网络的应用 (2)样本的选择与组织 注意样本均衡、多样性，交叉输入或者随机输入。避免震荡，使得学习时间延长。 三、初始权值的设计 对学习速度很重要。 尽量在0点附近。 初始权值足够小，或者 初始权值为+1和 -1数量相同。 矿山地质灾害按其破坏程度可划分为Ⅰ，Ⅱ，Ⅲ三类, 分别对应轻度、中度和重度，这三种类型对应神经网络的输出, 分别记为(0, 0,1) ，(0, 1, 0) 及(1, 0, 0) , 即输出层节点为3。 根据数据，地质灾害主要包括四个指标：灾害规模、影响范围、死亡人数和直接经济损失。即输入层的节点数为4。