2025神经网络与深度学习前馈神经网络.pptx

前馈神经网络《神经网络与深度学习》2025

内容神经网络神经元网络结构前馈神经网络参数学习计算图与自动微分优化问题

神经网络

神经网络神经网络最早是作为一种主要的连接主义模型。20世纪80年代后期，最流行的一种连接主义模型是分布式并行处理（ParallelDistributedProcessing，PDP）网络，其有3个主要特性：1）信息表示是分布式的（非局部的）；2）记忆和知识是存储在单元之间的连接上；3）通过逐渐改变单元之间的连接强度来学习新的知识。引入误差反向传播来改进其学习能力之后，神经网络也越来越多地应用在各种机器学习任务上。

神经元

生物神经元单个神经细胞只有两种状态：兴奋和抑制video:structureofbrain

人工神经元一个简单的线性模型！

激活函数的性质连续并可导（允许少数点上不可导）的非线性函数。可导的激活函数可以直接利用数值优化的方法来学习网络参数。激活函数及其导函数要尽可能的简单有利于提高网络计算效率。激活函数的导函数的值域要在一个合适的区间内不能太大也不能太小，否则会影响训练的效率和稳定性。单调递增???

常见激活函数非零中心化的输出会使得其后一层的神经元的输入发生偏置偏移（biasshift），并进一步使得梯度下降的收敛速度变慢。性质：饱和函数Tanh函数是零中心化的，而logistic函数的输出恒大于0

常见激活函数计算上更加高效生物学合理性单侧抑制、宽兴奋边界在一定程度上缓解梯度消失问题死亡ReLU问题（DyingReLUProblem）

常见激活函数Swish函数

常见激活函数高斯误差线性单元（GaussianErrorLinearUnit，GELU）其中P(X≤x)是高斯分布N(μ,σ2)的累积分布函数，其中μ,σ为超参数，一般设μ=0,σ=1即可由于高斯分布的累积分布函数为S型函数，因此GELU可以用Tanh函数或Logistic函数来近似

常见激活函数及其导数

人工神经网络人工神经网络主要由大量的神经元以及它们之间的有向连接构成。因此考虑三方面：神经元的激活规则主要是指神经元输入到输出之间的映射关系，一般为非线性函数。网络的拓扑结构不同神经元之间的连接关系。学习算法通过训练数据来学习神经网络的参数。

网络结构人工神经网络由神经元模型构成，这种由许多神经元组成的信息处理网络具有并行分布结构。圆形节点表示一个神经元，方形节点表示一组神经元。

前馈神经网络

网络结构前馈神经网络（全连接神经网络、多层感知器）各神经元分别属于不同的层，层内无连接。相邻两层之间的神经元全部两两连接。整个网络中无反馈，信号从输入层向输出层单向传播，可用一个有向无环图表示。

前馈网络给定一个前馈神经网络，用下面的记号来描述这样网络：

信息传递过程前馈神经网络通过下面公式进行信息传播。前馈计算：

深层前馈神经网络

通用近似定理根据通用近似定理，对于具有线性输出层和至少一个使用“挤压”性质的激活函数的隐藏层组成的前馈神经网络，只要其隐藏层神经元的数量足够，它可以以任意的精度来近似任何从一个定义在实数空间中的有界闭集函数。

应用到机器学习?神经网络分类器

参数学习

应用到机器学习对于多分类问题如果使用Softmax回归分类器，相当于网络最后一层设置C个神经元，其输出经过Softmax函数进行归一化后可以作为每个类的条件概率。采用交叉熵损失函数，对于样本(x,y)，其损失函数为

参数学习?

梯度下降???网络参数

如何计算梯度？神经网络为一个复杂的复合函数链式法则反向传播算法根据前馈网络的特点而设计的高效方法一个更加通用的计算方法自动微分（AutomaticDifferentiation，AD）?

矩阵微积分矩阵微积分（MatrixCalculus）是多元微积分的一种表达方式，即使用矩阵和向量来表示因变量每个成分关于自变量每个成分的偏导数。分母布局标量关于向量的偏导数向量关于向量的偏导数

链式法则链式法则（ChainRule）是在微积分中求复合函数导数的一种常用方法。

反向传播算法误差项

计算

反向传播算法

计算图与自动微分

计算图与自动微分自动微分是利用链式法则来自动计算一个复合函数的梯度。计算图

计算图当x=1,w=0,b=0时，可以得到

自动微分前向模式和反向模式反向模式和反向传播的计算梯度的方式相同如果函数和参数之间有多条路径，可以将这多条路径上的导数再进行相加，得到最终的梯度。

反向传播算法(自动微分的反向模式）前馈神经网络的训练过程可以分为以下三步前向计算每一层的状态和激活值，直到最后一层反向计算每一层的参数的偏导数更新参数

静态计算图和动态计算图静态计算图是在编译时构建计算图，计算图构建好之后在程序运行时不能改变。Theano和Tenso