深度学习入门必须理解这25个概念.docxVIP

深度学习入门必须理解这25个概念 1、神经元（Neuron） 就像形成我们大脑基本元素 的神经元一样，神经元形成神经网络的基本结构。想象一 下，当我们得到新信息时我们该怎么做。当我们获取信息 时，我们一般会处理它，然后生成一个输出。类似地，在 神经网络的情况下，神经元接收输入，处理它并产生输 出，而这个输出被发送到其他神经元用于进一步处理，或 者作为最终输出进行输出。2、权重（Weights） ——当输 入进入神经元时，它会乘以一个权重。例如，如果一个神 经元有两个输入，那么每个输入将具有分配给它的一个关联 权重。我们随机初始化权重，并在模型训练过程中更新这 些权重。训练后的神经网络对其输入赋予较高的权重，这 是它认为与不那么重要的输入相比更为重要的输入。为零 的权重那么表示特定的特征是微缺乏道的。让我们假设输入 为a,并且与其相关联的权重为W1,那么在通过节点之 后，输入变为a *W1O 3、偏差（Bias） 除了权重之 外，另一个被应用于输入的线性分量被称为偏差。它被加 到权重与输入相乘的结果中。基本上添加偏差的目的是来 改变权重与输入相乘所得结果的范围的。添加偏差后，结 果将看起来像a*Wl偏差。这是输入变换的最终线性分 量。4、激活函数（Activation Function） 一旦将线性分 量应用于输入，将会需要应用一个非线性函数。这通过将 激活函数应用于线性组合来完成。激活函数将输入信号转 换为输出信号。应用激活函数后的输出看起来像f (a *wi+b),其中f就是激活函数。在下列图中，我们将n个输 入给定为XI到Xn而与其相应的权重为Wkl到Wkno 我们有一个给定值为bk的偏差。权重首先乘以与其对应 的输入，然后与偏差加在一起。而这个值叫做Uo U =ZW*X+b激活函数被应用于u,即f(u),并且我们会从神 经元接收最终输出，如yk=f (u)o常用的激活函数最常 用的激活函数就是Sigmoid, ReLU和softmax (a) Sigmoid 最常用的激活函数之一是Sigmoid,它被定义 为：sigmoid(x)=l/(l+e-x )Sigmoid 变换产生一个值为 0 到1之间更平滑的范围。我们可能需要观察在输入值略有 变化时输出值中发生的变化。光滑的曲线使我们能够做到 这一点，因此优于阶跃函数。(b) ReLU (整流线性单位) 与Sigmoid函数不同的是，最近的网络更喜欢使用 ReLu激活函数来处理隐藏层。该函数定义为： f(x)=max(x,0)当X>0时，函数的输出值为X ；当X使用 ReLU函数的最主要的好处是对于大于0的所有输入来 说，它都有一个不变的导数值。常数导数值有助于网络训 练进行得更快。(c) Softmax Softmax激活函数通常用 于输出层，用于分类问题。它与sigmoid函数是很类似 的，唯一的区别就是输出被归一化为总和为lo Sigmoid 函数将发挥作用以防我们有一个二进制输出，但是如果我 们有一个多类分类问题，softmax函数使为每个类分配值这 种操作变得相当简单，而这可以将其解释为概率。以这种 方式来操作的话，我们很容易看到——假设你正在尝试识 别一个可能看起来像8的6。该函数将为每个数字分配值 如下。我们可以很容易地看出，最高概率被分配给6,而 下一个最高概率分配给8,依此类推……5、神经网络 (Neural Network)——神经网络构成了深度学习的支柱。 神经网络的目标是找到一个未知函数的近似值。它由相互 联系的神经元形成。这些神经元具有权重和在网络训练期 间根据错误来进行更新的偏差。激活函数将非线性变换置 于线性组合，而这个线性组合稍后会生成输出。激活的神 经元的组合会给出输出值。一个很好的神经网络定义「神 经网络由许多相互关联的概念化的人造神经元组成，它们 之间传递相互数据，并且具有根据网络'经验调整的相关权 重。神经元具有激活阈值，如果通过其相关权重的组合和 传递给他们的数据满足这个阈值的话，其将被解雇;发射神 经元的组合导致‘学习6、输入/输出/隐藏层(Input/ Output / Hidden Layer) 正如它们名字所代表的那样， 输入层是接收输入那一层，本质上是网络的第一层。而输 出层是生成输出的那一层，也可以说是网络的最终层。处 理层是网络中的隐藏层。这些隐藏层是对传入数据执行特 定任务并将其生成的输出传递到下一层的那些层。输入和 输出层是我们可见的，而中间层那么是隐藏的。7、MLP (多 层感知器)——单个神经元将无法执行高度复杂的任务。 因此，我们使用堆栈的神经元来生成我们所需要的输出。 在最简单的网络中，我们将有一个输入层、一个隐藏层和 一个输出层。每个层都有多个神经元，并且每个层中的所 有神经元都连接到下一层的所有神经元