人工智能 卷积神经网络.ppt

卷积神经网络 1.卷积神经网络 2.卷积神经网络的模型架构 3.卷积运算 4.卷积常见层 TensorFlow和图像 6.模型训练 7.模型评估 8.多GPU的模型训练 6.1:卷积神经网络 应用:是深度学习技术中极具代表的网络结构之一,属于人工神 像处理 的 mageNet数据集上,许多成功的模型都是 基于卷积神经网络的应用 优点:卷积神经网络包含了一个由卷积层和子采样层构成的特征 取器。在卷积神经网络的一个卷积层中,通常包含了若 征平面都是由一些矩形排列的神经元所构成,同 共享的权值就 减少了网络中各层之间的连接,同时又降低了过拟合的风险。子采样 也叫作池化,通常有均值子采样和最大 中形式。子采样可 殊的卷积过程。卷积和子采样大大简化了模型的复杂度 减少了模型的参数 6.1:卷积神经网络 卷积神经网络( Convolutional Neural Network,CNN)是深度 学习技术中极具代表的网络结构之一,属于人工神经网络的一种 其应用最成功的领域就是图像处理。在国际标准的 ImageNet数据集 许多成功的模型都是基于卷积神经网络的应 卷积神经网络相较于传统的图像处理算法的优点在与避免了对 图像处理时复杂的前期预处理过程(提取人工特征等),可以直接 输入原始图像 卷积神经网络基本结构如下图所示。 RELU RELURELU RELU RELU RELU CONVCONV CONVCONVCONVCONV plane 1.卷积神经网络通常由若干个卷积层、激活层、池 化层以及全连接层组成。 2.左图为全连接,右图为局部连接 FULLy CONNECTED NEURAL NET LOCALLY CONNECTED NEURAL NET Example: 1000x1000 im IM hidden wits 暗1012paer Example: 1000x1000 ne IM hiddening Filter sine: toxo Spatial correlation is local Better to put resources elsewhere FULLY CONNECTED NEURAL NET OCALLY CONNECTED NEURAL NET torM 在左图的全连接结构中,每一个节点的输入都是在右图的局部连接结构中,卷积操作是最 最大 域的信息 以三维矩阵的形式进行存储,如果要对一张分辨数矩 率达到1000×1000的灰度 要1000×1000×3=300000整数值。如 只和10×10个像素值 值都看做一个特征维度,经过感知机的变相连,那么权值数据为100000个参 换后保 而那10×10 1000×1000×1000元素的参数矩 素值对应的10×10个参数,其实就相 卷积操作 第六章:卷积神经网络 1.卷积神经网络 2.卷积神经网络的模型架构 3.卷积运算 4.卷积常见层 5. TensorFlow和图像 6.模型训练 7.模型评估 8.多GPU的模型训练 62:卷积神经网络的模型架构 1 ImageNet-2010网络结构 2 DeepID网络结构 Aex的卷积神经网络结构图如下所示 La Ma 该模型的基本参数为 输入:224×224大小的图片,3通道 第一层卷积:11×11大小的卷积核96个,每个GPU上48个。 第一层 max-pooling:2×2的卷积核 第二层卷积:5×5大小的卷积核256个,每个GPU上128个。 第二层 max-pooling:2×2的卷积核。 第三层卷积:与上一层是全连接,3×3大小的的卷积核384个。分到两 个GPU上各192个 第四层卷积:3×3大小的卷积核384个,两个GPU各192个。该层与上一 层连接没有经过 pooling层。 第五层卷积:3×3大小的卷积核256个,两个GPU上个128个。 第五层max- pooling:2×2的卷积核。 第一层全连接:4096维,将第五层 max-poolingI的输出连接成为一个一维 向量,作为该层的输入 第二层全连接:4096维。 softmax层:输出为1000,输出的每一维都是图片属于该类别的概率