全连接神经网络MLP.pdfVIP

全连接神经⽹络MLP

全连接神经⽹络MLP

最近开始进⾏模型压缩相关课题，复习⼀下有关的基础知识。

1.MLP简介

上图是⼀个简单的MLP，这是典型的三层神经⽹络的基本构成，LayerL1是输⼊层，LayerL2是隐含层，LayerL3是隐含层。

为了⽅便下⾯的公式描述，引⼊⼀张带公式的图。

i是input层，h是hide层，o是output层。

2.MLP正向传播

正向传播其实就是预测过程，就是由输⼊到输出的过程。

为之前的图⽚赋上初值，

上述变量中，存在着如下过程：原始输⼊-带权计算-net_h1-激活函数-out_h1

同理，可以计算另⼀个隐层net_h2,out_h2，以及输出层net_o1,net_o2,out_o1,out_o2

此时在输出端我们可以得到⼀个预测值，但是在随机初始化权值的情况下，这个值⼀定还有上升的空间，怎么才能使这个值变得更为准确呢？

3.MLP反向传播

MLP的反向传播过就是对于神经⽹络的训练过程。在这⾥，我们训练的是之前各条边上的权值。

3.1总误差（squareerror）

target为该样本的正确值，output为这⼀轮预测的值。

这⾥存在两个输出，所以，对于所有输出求和，并最终计算E_total

推⼴⾄N个输出（分类），则是把N各分类中的输出（⼀般是分类概率）误差分别求出，最终求和。

在这⾥的总误差在下⾯的应⽤时，主要看的是接受到了⼏个误差的影响（如果只接受到⼀个误差的影响，那就只使⽤⼀个误差）。

3.2输出层参数更新

以权重参数w5为例，如果我们想知道w5对整体误差产⽣了多少影响，可以⽤整体误差对w5求偏导求出：（链式求导法则）

现在我们来分别计算每个式⼦的值：

计算：

计算：

（这⼀步实际上就是对sigmoid函数求导，⽐较简单，可以⾃⼰推导⼀下）

计算：

最后三者相乘：

这样我们就计算出整体误差E(total)对w5的偏导值。

回过头来再看看上⾯的公式，我们发现：

为了表达⽅便，⽤来表⽰输出层的误差：

因此，整体误差E(total)对w5的偏导公式可以写成：

如果输出层误差计为负的话，也可以写成：

最后我们来更新w5的值：

（其中，是learningrate，这⾥我们取0.5）

3.3隐含层参数更新

计算：

先计算：

同理，计算出：

两者相加得到总值：

再计算：

再计算：

最后，三者相乘：

为了简化公式，⽤sigma(h1)表⽰隐含层单元h1的误差：

最后，更新w1的权值：

Python代码：

#coding:utf-8

importrandom

importmath

#

#参数解释：

#pd_：偏导的前缀

#d_：导数的前缀

#w_ho：隐含层到输出层的权重系数索引

#w_ih：输⼊层到隐含层的权重系数的索引

classNeuralNetwork:

LEARNING_RATE=0.5

self.num_inputs=num_inputs

self.hidden_layer=NeuronLayer(num_hidden,hidden_layer_bias)

self.output_layer=NeuronLayer(num_outputs,output_layer_bias)

self.init_weights_from_inputs_to_hidden_layer_neurons(hidden_layer_weights)

self.init_weights_from_hidden_layer_neurons_to_output_layer_neurons(output_layer_weights)

definit_weights_from_inputs_to_hidden_layer_neurons(self,hidden_layer_weights):

weight_num=0

forhinrange(len(self.hidden_layer.neurons)):

foriinrange(self.num_inputs):