2深度学习-第二章 全连接网络.pptx

第二章全连接网络

第一节网络结构

线性模型的不足线性模型线性模型的特点任何特征的增大都会导致模型输出的增大（如果对应的权重为正）或减小（如果对应的权重为负）线性模型的不足：无法建模任意两个输入变量间的相互作用示例：猫狗图像分类任务增加输入图像某一位置处像素的强度是否能够增加图像描绘的是猫还是狗的概率？如果不能，线性模型则不适合该问题任何像素的重要性都以复杂的方式取决于该像素的上下文（周围像素的值），而不是自身强度线性模型无法建模任意两个输入变量间的相互作用2

2.1全连接网络全连接网络/多层感知机通过在网络中加入一个或多个隐藏层来克服线性模型的限制将多个全连接层堆叠在一起，每一层的输出都是后一层的输入，直到生成最后的输出全连接层：每一个神经元都跟前一层和后一层的所有神经元相连可以把前L?1层看作表示，把最后一层看作线性预测器层数：只统计隐藏层和输出层3

2.1.1生物神经元每个生物神经元由细胞体和多个延伸分支组成，后者又分为树突和轴突轴突的长度可能比细胞体长几倍，或者长几万倍，轴突在其末端分裂成许多分支，这些分支的顶端是称为突触的微小结构，与其他神经元的树突或细胞体相连当生物神经元接收到刺激时，产生电信号并将其沿着轴突传导至突触。在突触处，神经元释放化学物质，这些化学物质影响相邻神经元的电位，从而改变它们的状态。如果某个神经元的电位超过了一个特定的阈值，那么它就会被激活，并向其他神经元发送化学物质，进一步传递信息4

2.1.2人工神经元人工神经元受生物神经元的工作原理启发而提出人工神经元具有1个或多个输入，模拟了生物神经元接收来自其他神经元的信号这些输入被加权求和，模拟了细胞体对神经信号的积累然后，对加权和进行激活函数计算，模拟了细胞体的兴奋或抑制过程最后，输出激活值传递到下一个人工神经元，模拟了生物神经元通过轴突将信号传递给其他神经元的过程基于这种人工神经元模型的多层神经网络能够模拟和学习复杂的非线性关系，成为人工智能领域的重要基础，也成为了全连接网络的基本组成单元每个神经元都很简单，但多个神经元连接起来就可以处理复杂的问题——连接主义5

2.1.3隐藏层隐藏层可以增强网络的表达能力将向量作为输入，记第一个隐藏层的输出为其中为输入层和第一隐藏层的权重，为第一隐藏层偏置，为激活函数

2.1.3隐藏层将向量作为输入，记第一个隐藏层的输出为其中为输入层和第一隐藏层的权重，为第一隐藏层偏置，为激活函数记第二个隐藏层的输出为其中为第一隐藏层和第二隐藏层的权重，为第二隐藏层偏置记第k个隐藏层的输出为其中为第k-1隐藏层和k隐藏层的权重，为第k隐藏层偏置记输出为，并且网络共有有L层如果为分类任务，一般还要添加一个softmax操作

2.1.3隐藏层多个隐藏层可以实现对输入特征的多层次抽象，从而更好地处理数据但目前普遍认为并不是隐藏层越多越好增加隐藏层的数量理论上可以提高特征提取的效果，但会引发两个问题随着隐藏层数的增加，网络参数也会呈爆炸式增长，增加了训练的计算成本类似于边际效用递减规律，当隐藏层数量达到一定程度后，再继续增加隐藏层可能导致应用效果的提升越来越不明显，甚至可能引入过拟合问题因此，在设计神经网络时，需要权衡隐藏层数量与训练难度，并防止过拟合

《深度学习》第二章全连接网络

第二节激活函数李欢南开大学人工智能学院

激活函数是在神经元输入与输出之间的一种函数变换，目的是为了加入非线性因素，增强模型的表达能力人工神经元中，激活函数是检测某种特定特征的开关激活函数需要具备以下几点性质：非线性函数连续并可导（允许少数点上不可导）可导的激活函数可以直接利用数值优化的方法来学习网络参数激活函数及其导函数要尽可能的简单，有利于提高网络计算效率作为例外，当前常用的GeLU函数并不满足第三条性质2.2激活函数

sigmoid激活函数脉冲信号进入神经元脉冲信号离开神经元树突神经元轴突突触2.2激活函数

2.2.1非线性激活函数的必要性考虑只有一个隐藏层的无激活函数的神经网络等价于没有使用隐藏层的简单线性网络线性函数和线性函数的复合仍然是线性函数为了发挥多层架构的潜力，需要在线性变换之后对每个隐藏单元应用非线性的激活函数有了激活函数，就不可能再将多层感知机退化成线性模型其中

2.2.2ReLU修正/整流线性单元（Rectifiedlinearunit，ReLU）给定输入x，R