前馈神经网络导数特性分析.pdfVIP

第40卷 第7期 计 算 机 工 程 2014年7月 Vol.40 No.7 ComputerEngineering July 2014 ·人工智能及识别技术 · 文章编号：1000-3428(2014)07-0197-05 文献标识码：A 中图分类号：TP18 前馈神经网络导数特性分析 a b a c aP P P P 魏 海 ，杨华舒 ，苏志敏，桂 跃 ，董梦思 (昆明理工大学 a. 电力工程学院；b. 国土资源工程学院；c. 建筑工程学院，昆明 650500) 摘 要：为分析前馈神经网络输出量的一阶、二阶偏导数特性，从一层网络结构入手，推导网络输出量的一阶偏导数，应用链式求 导法则，推导多层网络输出量的一阶、二阶偏导数的计算公式。在此基础上推导网络的三阶偏导数，并针对二层结构网络，在其输 出层激活函数为线性函数时，推导出该网络对输入量的高阶偏导数计算公式。实例分析结果表明，前馈神经网络一阶、二阶偏导数 值的精度比网络输出值的精度要低，尤其是在区间的边界上有时会出现较大的偏差。网络的一阶、二阶偏导数值的精度也会随着隐 含层神经元数量的增加明显降低，在基本相同的网络训练精度下，隐含层神经元较多的网络比神经元少的网络导数特性差。 关键词：前馈神经网络；偏导数；线性激活函数；精度；网络体系结构；网络输出 DerivativesFeatureAnalysisofFeedforwardNeuralNetworks P P P P a b a c aP P P WEIHai ,YANGHua-shu ,SUZhi-min ,GUIYue,DONGMeng-si (a.Facultyo ElectricPowerEngineering;b.Facultyo LandResourcesEngineering;c.Facultyo ArchitectureEngineering, KunmingUniversityo ScienceandTechnology,Kunming650500,China) Abstract Inordertoanalyzefirstandsecondorderpartialderivativefeatureo feedforwardneuralnetworkswithrespecttoitsinputs,one 【 】 layered architecture network is chosen to deduce first order partial derivative o network. Chain rule is employed to derive formulas to computepartial derivativeso multilayer architecturenetworks. Onthebasis o that,third orderpartial derivative o networks canbe gained easily.And considering linear activation function in output layer o two layered networks, higher order partial deriv