2026《神经网络的基本理论综述》3400字.docxVIP

神经网络的基本理论综述

目录

TOC\o1-3\h\u1860神经网络的基本理论综述 1

90071.1神经网络基本原理 1

152231.2神经网络的反向传播 4

1.1神经网络基本原理

为了清晰地展示神经网络的结构，这里给出一个完整的神经网络结构图示：

图2-1完整的神经网络结构

可以看出，一个神经网络结构共分为3层，而每一层之中，又有着不同的结构，隐藏层中又一个激活层ReLU，而输出层中则含有Softmax等结构，他们都有着各自的作用，直接观察这个结构可能有一些复杂，为了方便说明每一部分的功能，我们先去掉图中的一部分元素来观察它：

图2-2部分神经网络结构

神经网络结构的第一层是输入层，输入层的中每一项元素的维度大小与输入信号的特征维度会保持一致。假设我们的输入信号是一张像素为64x64的灰度图像，那么输入层中每一个元素的维度就是64x64。在本例中，为了计算简单，我们取输入层元素维度为1x2。W1和b1是连接输入层和隐藏层的中间部分，信号从X传递到H的过程其实就是进行一次如下的矩阵运算：

H=X*W1+b1（2-1）

假设隐藏层的维度为50，可知矩阵H就是一个维度为（1x50）的矩阵。同理，信号从隐藏层传递到输出层也进行一次这样的矩阵运算：

Y=H*W2+b2