浅谈卷积神经网络要点.ppt

浅谈卷积神经网络 Convolutional Neural Networks 基础篇 优化方式 部分联通 权值共享 意义何在 意义何在 弊端： 1、网络负担重，计算量大 2、影响输入形式 意义何在 输入层 1000*1000 隐藏层 10^6 权值 10^12 ！！ 如果再换成普通的彩色图像，输入层就变成 3*1000*1000 隐藏层 10^6 卷积核 10*10 权值 10^8 ！！ 还有权值共享！！！ 意义何在 隐藏层 10^6 卷积核 10*10 权值 10^8 ！！ 卷积核 10*10 卷积核数目 100 权值 10*10*100 = 10^4 ！！ 如何卷积 图像：5*5 卷积核：3*3 卷积特征： （5-3+1）*（5-3+1） *具体依步长而定 Pooling 2*2 Max-pooling（2*2） or Average-pooling（1） 举个例子 举个例子 进阶篇 计算推导 全连接BP神经网络 计算推导 全连接BP神经网络 公式（1） 公式（2） 计算推导 卷积神经网络 这里 Mj 表示选择的输入maps的集合 计算推导 卷积神经网络 公式（2） 计算推导 卷积神经网络 公式（2） 公式（1） up(.)表示一个上采样操作。如果下采样的采样因子是n的话，它简单的将每个像素水平和垂直方向上拷贝n次。 其他（CRBM、CDBN） The hidden layer consists of K groups, where each group is an NH × NH array of binary units, resulting in NH^2*K hidden units. Each of the K groups is associated with a NW × NW filter (NW = NV ? NH + 1); the filter weights are shared across all the hidden units within the group. THX