深度学习案例教程 教案4.4用PyTorch搭建卷积网络.docx

（p1）

在前面的小节中我们已经实现了卷积层和池化层，

现在来组合这些层，搭建卷积神经网络。

网络的构成是“Convolution-ReLU-Pooling-FC–FC-Softmax”，

我们将它实现为名为SimpleConvNet的类。

SimpleConvNet的初始化的实现稍长，

我们分成3部分来说明，首先是初始化的最开始部分,

函数中input_dim表示输入数据的维度：（通道，高，长），

hidden_size是隐藏层的神经元数量，

output_size是输出层的神经元数量，

weight_init_std是初始化时权重的标准差,

参数conv_param是卷积层的超参数（字典），

(p2)

接下来是权重参数的初始化部分,

学习所需的参数是第1层的卷积层和剩余两个全连接层的权重和偏置。

将这些参数保存在实例变量的params字典中。

将第1层的卷积层的权重设为关键字W1，偏置设为关键字b1。

同样，分别用关键字W2、b2和关键字W3、b3来保存第2个和第3个全连接层的权重和偏置。

(p3)

最后，生成必要的层

从最前面开始按顺序向有序字典（OrderedDict）的layers中添加层。

只有最后的SoftmaxWithLoss层被添加到别的变量lastLayer中。

以上就是SimpleConvNet的初始化中进行的处理。

(p4)

像这样初始化后，进行推理的predict方法和求损失函数值的loss方法就可以像下面这样实现。

这里，参数x是输入数据，t是标签。

用于推理的predict方法从头开始依次调用已添加的层，

并将结果传递给下一层。

在求损失函数的loss方法中，除了使用predict方法进行的forward处理之外，

还会继续进行forward处理，直到到达最后的SoftmaxWithLoss层。

(p5)

接下来是基于误差反向传播法求梯度的代码实现。

参数的梯度通过误差反向传播法（反向传播）求出，

通过把正向传播和反向传播组装在一起来完成。

因为已经在各层正确实现了正向传播和反向传播的功能，

所以这里只需要以合适的顺序调用即可。

最后，把各个权重参数的梯度保存到grads字典中。

以上这就是卷积神经网络SimpleConvNet的实现。