卷积神经网络PPT课件.pptVIP

卷积层的残差反传？ * 整体思路 以层为单位，分别实现卷积层、池化层、光栅化层、MLP隐层、分类层这五个层的类。其中每个类都有output和backpropagate这两个方法。 另外，还需要一系列的辅助方法，包括：conv2d（二维离散卷积，valid和full模式），downsample（池化中需要的下采样，两种边界模式），upsample（池化中的上采样）等。 * 谢谢！ * 1.输入图像I。为了减小复杂度，一般使用灰度图像。当然，也可以使用RGB彩色图像，此时输入图像有三张，分别为RGB分量。输入图像一般需要归一化。 2.多个卷积（C）-池化（S）层。将上一层的输出与卷积层做卷积得到各个C层，然后池化得到S层，图中是进行了两次。 3.光栅化（X）。是为了与传统的多层感知器全连接。即将上一层的所有Feature?Map的每个像素依次展开，排成一列。 4.传统的多层感知器（NO）。最后的分类器一般使用Softmax，如果是二分类，当然也可以使用LR。 * 即每个隐层节点都相当于一个感知器。每个隐层节点产生一个输出，那么隐层所有节点的输出就成为一个向量，即 * 是一个反推过程，也就是网络的训练过程、 得到的是梯度 * 多层感知器的一个问题是它是一个全连接的网络，因此在输入比较大的时候，权值会特别多。比如一个有1000个节点的隐层，连接到一个1000×1000的图像上，那么就需要?10^9?个权值参数（外加1000个偏置参数）！ 多层感知器的另一个问题是梯度发散，即在深度增加的情况下，从后传播到前边的残差会越来越小，甚至对更新权值起不到帮助，从而失去训练效果。 引出优化的卷积 池化:形象地说，你先随便看向远方，然后闭上眼睛，你仍 然记得看到了些什么，但是你能完全回忆起你刚刚看到的每一个细节吗？同样，在卷积神经网络中，没有必要一定就要对原图像做处理 * （注意，有重叠！就跟你的目光扫视时也是连续扫视一样）。 * 一般都有多个卷积核，所以会产生多个特征图 * 还会影响到池化层？ * 卷积神经网络初步解析 陈遥 * * 单层感知器 感知器可谓是最早的人工神经网络。 单层感知器是一个具有一层神经元、采用阈值激活函数的前向网络。通过对网络权值的训练，可以使感知器对一组输人矢量的响应达到元素为0或1的目标输出，从而实现对输人矢量分类的目的。 * 单层感知器作用范围 感知器是一个简单的二类分类的线性分类模型，要求我们的样本是线性可分的。 * 多层感知器 多层感知器的思路是，尽管原始数据是非线性可分的，但是可以通过某种方法将其映射到一个线性可分的高维空间中，从而使用线性分类器完成分类。图1中，从X到O这几层，正展示了多层感知器的一个典型结构，即输入层-隐层-输出层。 * 输入层-隐层 是全连接的网络，即每个输入节点都连接到所有的隐层节点上。更详细地说，可以把输入层视为一个向量?x?，而隐层节点?j?有一个权值向量?θj?以及偏置?bj?，激活函数使用?sigmoid?或?tanh?，那么这个隐层节点的输出应该是 若输入层有?m?个节点，隐层有?n?个节点，那么?Θ?=?[θT]?为?n×m?的矩阵，x?为长为?m?的向量，b?为长为?n?的向量，激活函数作用在向量的每个分量上，?f(x)?返回一个向量 * 隐层-输出层 可以视为级联在隐层上的一个感知器。若为二分类，则常用LogisticRegression；若为多分类，则常用Softmax?Regression。 * 核心！权值、偏置估计（结论如下，推导见“卷积神经网络全面解析”） 残差定义： 假设有层?p,?q,?r?，分别有?l,?m,?n?个节点，依序前者输出全连接到后者作为输入。t为标签，y为输出，E为损失函数， 为p层输出向量，Φ表示激活函数，层?q?有权重矩阵?[Θq]m×l?，偏置向量?[bq]m×1?，层?r有权重矩阵?[Θr]n×m?，偏置向量?[br]n×1?。那么 其中，运算?w?=?u○v?表示?wi?=?uivi?。函数作用在向量或者矩阵上，表示作用在其每个分量上。 * 卷积神经网络的三大优点 局部感受野 权值共享：在卷积神经网中，同一个卷积核内，所有的神经元的权值是相同的，从而大大减少需要训练的参数。作为补充，在CNN中的每个隐层，一般会有多个卷积核。 池化：在卷积神经网络中，没有必要一定就要对原图像做处理，而是可以使用某种“压缩”方法，这就是池化，也就是每次将原图像卷积后，都通过一个池化的过程，来减小图像的规模。 * 卷积神经网络的正向过程 卷积 下采样 光栅化 多层感知器预测。 * 卷积 考