深度学习技术应用与产业发展手册.docxVIP

深度学习技术应用与产业发展手册

第1章深度学习技术原理与基础架构

1.1神经网络基础理论与激活函数

神经网络的基本单元是神经元，其核心功能是通过线性组合（权重与输入的乘积）加上偏置参数，并通过非线性激活函数将结果映射到输出层，从而构建复杂的特征映射；在数学表达上，单个神经元的输出$a_i$等于输入向量$x$与权重向量$w$的点积再加上偏置$b$后的结果，即$a_i=\sum_{j=1}^{N}w_{ij}x_j+b_i$。激活函数是决定神经网络能否学习非线性问题的关键，常见的Sigmoid函数公式为$S(x)=\frac{1}{1+e^{-x}}$，其特点是输出值在0到1之间，适合二分类任务；而Tanh函数公式为$Tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$，输出范围被限制在-1到1之间，能消除偏置项的影响，收敛速度通常优于Sigmoid。

在深度网络中，单层线性变换无法解决非线性问题，因此必须引入激活函数来破坏线性依赖关系，使得网络具备拟合复杂函数（如S形曲线）的能力；例如在图像识别任务中，ReLU激活函数（$f(x)=\max(0,x)$）因其计算效率高且能防止梯度消失，被广泛用于深层网络的隐藏层。不同激活函数对梯度传播的影响截然不同，Sigm