神经网络误差函数.docVIP

关于误差函数的深入研究 姓名：李宏成 学号：6720130345  摘要 我写这篇文章的目的意在补充老师上课中遗留的一些问题以及我自身对神经网络中误差函数的一些看法。文章涉及到hebb学习规则中误差函数推导过程，非线性传输函数中误差函数推导过程以及感知机的误差函数证明。如有不足之处，敬请谅解。 Hebb学习规则中误差函数的推导过程 首先，在推导过程中我们首先要问问自己为什么我们要选择最小二乘？有许多东西都可以被优化，为什么我们要选择这样的指标（）？ 其次，理论的推导过程是以有监督hebb学习规则为前提，采用的传输函数是类似于线性联想器的purelin函数。此函数为一过原点且斜率为1的直线，因此整个系统的输出结果就可以直接认为是该系统的净输入。 在这里，我们先定义如下几个基本参数 表示训练的样本数目 表示输入变量 表示实际输出 表示权值参数 于是就构成了一个训练样本，更一般的表示第列训练样本集。所以，我们可以用如下表达式来表述成我们所预想的结果： （1.1） 为了突出权值在实际输出函数中的作用和更具有真实性质，以上式（1.1）子我们可以改写成：