主流深度学习架构原理与工程化实战指南.docxVIP

主流深度学习架构原理与工程化实战指南

1.前馈式深度学习架构

1.1前馈式神经网络

基本概念：前馈式神经网络是深度学习中经典架构，由多个全连接层构成。

结构：输入层→隐藏层→输出层。

工作原理：输入数据通过全连接层依次映射到输出层。

优点：简单易懂，适合处理线性问题。

缺点：对非线性问题的处理能力较弱。

1.2全连接层

基本概念：全连接层是前馈式神经网络的核心组件。

工作原理：将输入向量映射到高维空间。

常用激活函数：

ReLU（RectifiedLinearUnit）

Sigmoid

Tanh

Softmax

训练方法：梯度下降、Adam优化器。

1.3损失函数

基本概念