深度学习与神经网络手册.docx

深度学习与神经网络手册

第1章神经网络基础架构与数学原理

1.1全连接网络与激活函数

全连接网络（FullyConnectedNetwork）是深度学习中最基础的单元，它将输入数据的所有特征与输出层的每一个神经元一一对应连接，形成一个密集的矩阵结构。在数学上，若输入向量为$x$，权重矩阵为$W$，偏置向量为$b$，则输出层$y$的计算公式为$y=Wx+b$。这种结构使得网络能够学习任意复杂的非线性映射关系，是构建深度模型的前提。为了引入非线性能力，激活函数被嵌入在全连接层之后、下一层之前。常见的激活函数包括Sigmoid函数、Tanh函数和ReL