卷积方法的原理.pdfVIP

透彻理解卷积的数据原理与机制

抛球实验--Balldropexperiment

想象一下，我们把一个球从某个高度落到地面上，

它只有一个运动维度。如果你把球落下，然后再

从它的落点上方把它落下，球会走一段距离的可

能性有多大？

我们来分析一下：第一次下落后，它将以概率落

在离起点一个单位的地方，其中是概率分布。现

在，在第一次落下之后，我们把球捡起来，从它

第一次落地点以上的另一个高度落下。球从新的

起点滚动个单位的概率是，如果它是从不同的

高度落下的，那么可能是不同的概率分布。

如果我们把第一次下落的结果固定下来，使我们

知道球走了距离，对于球走的总距离，第二次

下落时走的距离也固定为，即。所以这种情况

发生的概率简单来说就是。。

我们用一个具体的离散例子来思考这个问题。我

们希望总距离为3。如果它第一次滚动，，那么

第二次必须滚动，才能达到我们的总距离。这

个概率是。

然而，这并不是我们可以达到总距离3的唯一方

法。球可以第一次滚1个单位，第二次滚2个单

位。或者第一次滚0个单位，第二次滚3个单位。

它可以是任何和，只要他们加起来是3。

为了求出小球到达总的总概率，我们不能只考虑

到达的一种可能方式，而是考虑将分成和的

所有可能方式，并将每种方式的概率相加。

我们已经知道，的每一种情况的概率简单来说就

是。所以，将的每一个解求和，我们可以将总

似然表示为。

和的卷积，在处被定义为。

如果我们把代入，我们得到。

为了使这一点更加具体，我们可以从球可能落地

的位置来考虑。在第一次落地后，它将以概率落

在中间位置。如果它落在处，它落在处的概率

为。

为了得到卷积，我们需要考虑所有的中间位置。

可视化卷积--VisualizingConvolutions

假设一个球落在离原点一定距离的概率是。那么，

它从处返回原点的的概率是。

如果我们知道球在第二次落地后落在处，那么第

一次的位置是的概率是多少？

所以，前一个位置是的概率是。

每个中间位置球最终落在处的概率。我们知道第

一个落点把球放到中间位置的概率是。我们还

知道，如果它落在处，它在处的概率是。

将的所有可能值相加，我们得到卷积结果。

通过移动下半部分，当分布对齐时，卷积达到峰

值。

并且随着分布之间的交点越来越小而缩小。

下图，我们能够直观地看到三角波与方波函数的

卷积。

掌握了这个要点，很多概念变得更加直观。

在音频处理中有时会用到卷积。例如，人们可能

会使用一个有两个尖峰，但其他地方都是零的函

数来创建一个回声。当我们的双尖峰函数滑动时，

一个尖峰首先击中一个时间点，将该信号添加到

输出声音中，之后，另一个尖峰跟随，添加第二

个延迟的副本。

高维卷积--HigherDimensionalConvolutions

卷积不仅仅适用于1维看空间，也适用于高维空

间。

回顾开头的例子，落下的球。现在，当它落下时，

它的位置不仅在一维中移动，而且在二维中移动。

和前面的卷积一样。

只是，现在，，和都是向量。更明确地说，

标准定义：

就像一维卷积一样，我们可以把二维卷积看成是

把一个函数滑动到另一个函数之上，进行乘法和

加法。

卷积神经网络--ConvolutionalNeural

Networks

那么，卷积与卷积神经网络的关系如何呢？

在一个1维卷积层中，输入，输出。

从信号与系统的角度来描述，

是输入信号，是输出信号，是系统，这个系统由

个神经元组成，可以用输入来描述输出。

也可以用神经网络的方式来描述

其中是输入，是权重。权重描述了神经元与输

入的连接方式。

负的权重意味着输入会抑制神经元发射，而正的

权重则鼓励它发射。

权重是神经元的心脏，控制着它的行为。如果说

2个神经元是相同的，即它们的权重是相同的。

其中一个常见的应用是图像处理。我们可以把图

像看作是二维函数。许多重要的图像变换都是卷

积，你用一个非常小的局部函数（称为“内核”）

对图像函数进行卷积。

在上面的演示中，绿色部分类似于我们的5x5x1

输入图像。在卷积层的第一部分进行卷积操作的

元素被称为Kernel/Filter，用黄色表示。我们选

择一个3x3x1矩阵作为Kernel。

Kernel以一定的步伐向右移动，直到它解析出整