深度学习与自然语言处理手册（执行版）.docx

深度学习与自然语言处理手册（执行版）

第1章深度学习基础架构

1.1神经网络基本单元

神经网络的基本构建模块被称为神经元（Neuron），它是模拟人脑神经元结构的功能单元，负责接收输入、进行加权求和、非线性变换并输出结果。在深度学习中，这些单元通常通过循环连接形成层级结构，以提取多层次的特征。

神经元的输入端通过权重矩阵$W$与前一层的输出向量相乘，得到加权和，该加权和随后被加偏置项$b$进行线性变换，得到神经元当前的线性组合值$z=Wx+b$。为了引入非线性能力，使得网络能够拟合复杂的函数关系，我们在计算结果之上应用一个非线性激活函数$f(z)$，输出为最