人工智能与数据挖掘手册.docxVIP

与数据挖掘手册

第1章基础架构与核心原理

1.1深度学习算法原理与神经网络架构

神经网络是深度学习的基本单元，由多层感知器（MLP）构成，通过激活函数引入非线性能力。以全连接层为例，输入层接收$N$维数据，经过权重矩阵$W$与偏置$b$线性变换后得到$H$维特征向量，再经激活函数$f(\cdot)$映射，最终输出层输出预测结果。反向传播算法利用梯度下降法优化参数，其核心是计算损失函数$L$对网络所有参数的梯度$\frac{\partialL}{\partial\theta}$。通过链式法则，从输出层向输入层逐层传递误差信号，更新权重$W$和偏置$b$，使得总损失最小化。

训练过程中需平衡学习率$\eta$与批量大小$B$，过大则收敛慢或震荡，过小则更新效率低。例如在MNIST手写数字识别中，初始学习率设为0.001，每批处理128个样本，经过100轮迭代后准确率可达99.8%。激活函数如ReLU将输入限制为非负，解决了梯度消失问题；Sigmoid函数则输出概率值，常用于二分类任务。在实际代码中，ReLU常作为隐藏层激活函数，而Sigmoid多用于输出层进行概率估算。损失函数选择直接影响模型性能，交叉熵损失函数适用于分类任务，能衡量预测概率与真实标签之间的差异；均方误差（MSE）则适合回归任务，计