神经网络中的优化法解方程结合自身使用神经网络进行故障诊断的专业.docVIP

神经网络中的优化法解方程 结合自身“使用神经网络进行故障诊断”的专业内容，介绍了神经网络训练时使用的最速下降法求解方程中权值的问题。进行了结果分析讨论，并改进了算法。 1.算法分析 人工神经网络是对大脑神经的一种仿生技术，模仿神经细胞通过联系来分析处理数据，神经网络最基本的单元是神经元，一个多维输入的典型神经元模型如图1所示： 图1 神经元模型 该网络有维输入，用（，2，，）表示；一维输出用表示；连接强度，即连接权值，用，，，表示；单元的处理函数称为传递函数，由表示；表示偏置。神经网络模型的一般计算处理方法是将各个输入与对应的连接权值相乘，再求和，最后再由传递函数处理得到输出，公式如下： （1） 实际应用中、及函数为已知（为论述简单暂不记入），神经网络训练过程就是求解，使得式（1）对于所有、都成立。不难看出，神经网络训练问题可抽象为：以为未知数的方程（1）的求解问题（方程是否为线性则要看函数的选择，实际应用中常选S型函数，所以实际应用中多为非线性方程）。 设误差为r，则第k个神经元的误差为： （2） 设神经网络输出神经元数为q，则求解方程（1）的问题相当于求解最优化问题： （3） 使用最速下降法求解“使总误差最小”的最优化问题，即因为梯度方向是函数变化最快的方向，选择负梯度方向为迭代的自变量变化方向。设迭代次数为m，变化率为，则迭代公式为： （4） 经一定迭代次数后达到要求精度或达到最大迭代次数限制后停止，得到的即为方程（1）的解。 2.编程实现 使用matlab神经网络工具箱结合实际数据进行编程（代码见附件1），建立一个二层BP神经网络，即包含输入层、输出层及一个隐藏层。网络模型输入层的节点数为4，输出层的节点数为4，隐藏层为17。程序流程图如图2。 图2 神经网络流程图 使用最速下降法优化网络模型权值，由于二层BP网络模型的特定性质选择一些小的随机值为初始权值，优化过程如图3，经641步迭代达到要求误差精度0.08。（由于篇幅原因，未将得到的2*17*4的结果列出） 图3 最速下降法迭代过程 3.结果分析及算法改进 最速下降法虽然具有沿负梯度方向目标函数的最速下降性，但某点的负梯度方向，通常只是在该店附近才具有这种最速下降的性质；同时，其搜索路径呈直角锯齿状，来回摆动造成的不稳定性影响收敛速率。而对于工程问题，在接近极小点时函数等值线往往为比较扁平的椭圆，对于固定变化率的算法来说，此时收敛速度就会较慢。 对最速下降法进行算法改进。首先加入动量项，增加收敛路径的平滑性，则迭代公式（4）变为： （5） 同时，将变化率设为随迭代次数增加按一定速率变大的形势，克服接近极小点时曲率较小导致收敛慢的情况。改进后算法结果如图4，仅用92步就达到要求精度，速度大大提高了。 图4 改进算法迭代过程 附件1 1.实际数据表 序号 波宽 波形下面积 1 0.1601 0.2025 0.467 0.4632 1 2 0.1522 0.1915 0.448 0.4379 1 3 0.1553 0.1975 0.438 0.4515 1 4 0.1523 0.194 0.475 0.4433 1 5 0.1496 0.186 0.537 0.4251 1 6 0.1518 0.1905 0.429 0.4354 1 7 0.1528 0.1908 0.439 0.4364 1 8 0.1676 0.202 0.473 0.4639 1 9 0.1677 0.202 0.458 0.4642 1 10 0.1457 0.181 0.438 0.4133 1 11 0.4978 0.235 0.693 0.5718 2 12 0.4756 0.212 0.697 0.5061 2 13 0.4606 0.1915 0.740 0.4652 2 14 0.4273 0.183 0.729 0.4439 2 15 0.3825 0.146 0.739 0.3502 2 16 0.3240 0.1385 0.738 0.3313 2 17 0.3781 0.163 0.709 0.3929 2 18 0.4188 0.1815 0.803 0.4367 2 19 0.4212 0.192 0.741 0.4534 2 20 0.4088 0.1915 0.743 0.4611 2 21 0.4166 0.263 0.821 0.634