深度学习原理与应用手册（执行版）.docxVIP

深度学习原理与应用手册（执行版）

深度学习基础理论

第一章神经网络结构与基本单元

第一节神经网络结构与基本单元

本章将深入探讨神经网络（NeuralNetwork,NN）的底层架构，从感知层到隐藏层的逻辑构建，以及全连接网络的基本拓扑形态。

神经网络的输入层接收原始数据特征向量，其神经元数量通常等于输入维数，例如在图像识别中，若输入为224×224的灰度图，则输入层包含$224\times224=50,176$个节点；在文本处理中，输入层节点数对应于词表大小。隐藏层是神经网络的“大脑”，通过非线性激活函数（如ReLU、Sigmoid、Tanh）将线性组合后的结果转化为非线性特征，节点数量通常远大于输入层，例如在多层感知机（MLP）中，隐藏层节点数往往在数百到数千之间。

输出层负责网络的最终决策，其节点数量取决于任务类型：分类任务通常为1个或$K$个节点（对应$K$类标签），回归任务则为连续值，例如在分类任务中，输出层可能包含10个节点分别对应10种水果类别。单神经元（Neuron）是神经网络的基本计算单元，它接收一组加权输入，经过加权和运算，再经过激活函数处理，最终输出一个标量值，其数学表达为$f(x)=\sigma(\sumw_ix_i+b)$。单个神经元内部的权重（Weights）用于调整不同输入信号的