神经网络基本原理总结.docxVIP

神经网络基本原理总结

一、核心本质与基本构成单元

神经网络是一种通过多层非线性变换拟合复杂输入输出映射关系的数据驱动模型，核心价值是替代人工规则提取，从标注数据中自动学习特征规律，无需人工设计显式特征规则。

1.1人工神经元的计算逻辑

人工神经元是神经网络的最小计算单元，模拟生物神经元“接收信号-累积激活-输出信号”的工作机制，单神经元的计算表达式为：

y

各参数的物理意义与设计要求如下：

?xi：第i

?wi：第i

?b：偏置值，用于调整激活触发的阈值；若不设置偏置，当所有输入为0时加权和恒为0，激活触发点固定在原点，无法拟合偏移的分类边界

?f(

?y：神经元的输出值

1.2激活函数的作用与选型规则

激活函数的核心价值是引入非线性变换：如果网络全部由线性加权计算组成，无论堆叠多少层，最终都等价于单层线性模型（矩阵乘法可合并），仅能拟合线性可分问题（如与、或、非逻辑），无法拟合异或等非线性关系。激活函数选型遵循以下规则：

?隐藏层优先使用ReLU激活：表达式为f(

?若训练中出现“神经元死亡”问题（神经元输入恒为负，ReLU梯度永久为0，对应权重不再更新），则替换为LeakyReLU激活，负半轴斜率固定为0.01

?严禁在层数≥3的网络隐藏层使用sigmoid激活：sigmoid函数在输出接近0或1时梯度趋近于0，反向传播时梯度逐层衰减，前层参数无法更新

1