人工神经网络综述剖析.ppt

初始权值的选取 初始权值的选取一般取初始权值在[-1，1]之间的随机数。 设计网络结构 隐层层数： 含有一个隐层的 ANN可以以任意精度模拟任意函数。 隐层的节点个数： 一般大于输入与输出层中结点数的最小值，小于等于输入层与输出层结点数之和。 选择活化函数 BP网络是一种多层前向反馈神经网络，其神经元的变换函数是S型函数。 * 不同形式的激活函数 (e) (f) 阈值函数 线性函数 分段线性函数 Logistics-S型函数 双曲正切-S型函数 高斯函数 BP网络的激活函数必须是处处可微的，所以它就不能采用二值型的阀值函数{0，1}、分段线性函数或符号函数{—1，1}，BP网络经常使用的是S型的对数或正切激活函数和线性函数。 如何设定训练参数和终止条件？（1） （1）训练步长（即学习速率?） 学习速率决定每一次循环训练中所产生的权值变化量。 大的学习速率可能导致系统的不稳定。 小的学习速率导致较长的训练时间，可能收敛很慢，不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值。 所以在一般情况下，倾向于选取较小的学习速率以保证系统的稳定性。学习速率的选取范围在0．01—0．8之间。 如何设定训练参数和终止条件？（2） （2）终止条件 最小误差 训练次数 * 反向传播算法适合问题的特征 实例是用很多“属性-值”对表示的，目标函数的输出可能是离散值、实数值或者由若干实数属性或离散属性组成的向量 训练数据可能包含错误 可容忍长时间的训练 可能需要快速求出目标函数值 人类能否理解学到的目标函数是不重要的 实例分析 假设银行数据记录如表1所示，要求根据存款金额、贷款次数、及时还贷情况，将这些记录按信用分为“良好”和“差”2类. 步骤1:预处理. 在开始训练之前，先用各个样本对应的存款金额、贷款次数属性值除以该列的最大属性值，以使其输人值限定在区间[0,1]上.对于离散型的信用类别属性，重新编码，用0表示“良好”,1表示“差”，作为预期输出.规范化后的数据如表2所示. 步骤2:设计网络拓扑结构. 为了简化模型，根据分析，只设1个包含2个神经元的隐藏层和1个输出神经元(神经元取值0表示信用良好类，取值1表示信用差类).该例的网络拓扑结构如图1所示. 步骤3:初始化该网络的权值和偏差. 网络的初始权值和偏差一般是取用随机函数生成的介于 [-1,1]的小数，该例的初始权值和偏差如表3所示. 步骤4:进行训练集扫描过程的迭代. 将学习率y设置为0.9.根据指定的终止条件，对权值和偏差采用实例更新的方法进行训练集扫描过程迭代. 首先，取表2中的1号样本，将其输人(11=0.6,12=0.5,13 =0.8)提供给网络，计算出各神经元的净输人、输出和误差，并反向传播所得误差，再更新权值和偏差. 然后，取2号样本，将其输人(11=0.1,12=1,13=0.2)提供给网络，根据1号样本更新后的权值和偏差，计算各神经元的净输人、输出、误差，以及再次更新的权值和偏差. 对所有样本重复上述过程，完成第1次扫描迭代.若不满足终止条件，则开始下一轮扫描迭代，直到满足终止条件，迭代结束. 第1次扫描迭代中，计算出各神经元的净输人、输出、误差、权值和偏差更新值如表4所示. I4 = W14*O1 + W24*O2 + W34*O3 + ?4 = 0.2*0.6 + 0.4*0.5 + (-0.5)*0.8 – 0.4 = -0.48 O4 = 1/（1+ exp(-I4)) = 0.382 有此方法可得：I5 = 0.23, I6 = -1=0.103 O5 = 0.443, I6 = 0.526 ERR6 = O6*(1-O6)*(T6-O6) = 0.526*(1-0.526)*(1-0.526) = 0.1182 ERR5 = O5*(1-O5 )*∑k (ERRk * W5k) (在此例中，k=6) = 0.443*(1-0.443)*(0.1182*(-0.2)) = -0.0058 同理可得：ERR4 = -0.0084 ⊿W46= ? *ERR6 *O4 = 0.9*0.1182* 0.382 = 0.041 W46 = W46 + ⊿W46 = -0.3 + 0.041 = -0.259 同理可得W56, W14, W15,W24,W25,W34,W35 θ6 = θ6 + ? * ERR6 = 0.