深度学习ppt汇总.ppt

CNN的Pooling过程 如果人们选择图像中的连续范围作为池化区域，并且只是池化相同(重复)的隐藏单元产生的特征，那么，这些池化单元就具有平移不变性 (translation invariant)。这就意味着即使图像经历了一个小的平移之后，依然会产生相同的 (池化的) 特征。 图像具有一种“静态性（stationarity）”的属性，可以对图像某一个区域上的特征取平均值 (或最大值)。这种聚合的操作就叫做池化 (pooling)。 CNN的优点 参数减少与权值共享 如下图所示，如果我们有1000x1000像素的图像，有1百万个隐层神经元，那么他们全连接的话（每个隐层神经元都连接图像的每一个像素点），就有 个连接，也就是10^12个权值参数。 局部连接网络，每一个节点与上层节点同位置附近10x10的窗口相连接，则1百万个隐层神经元就只有 ，即10^8个参数。其权值连接个数比原来减少了四个数量级。  卷积神经网络避免了显式的特征取样，隐式地从训练数据中进行学习。这使得卷积神经网络明显有别于其他基于神经网络的分类器，通过结构重组和减少权值将特征提取功能融合进多层感知器。它可以直接处理灰度图片，能够直接用于处理基于图像的分类。 ???? 卷积神经网络较一般神经网络在图像处理方面有如下优点： a）输入图像和网络的拓扑结构能很好的吻合； b）特征提取和模式分类同时进行，并同时在训练中产生； c）权重共享可以减少网络的训练参数，使神经网络结构变得更简单，适应性更强。 经典例子：文字识别系统LeNet-5 ??1. 输入图像是32x32的大小,卷积核的大小是5x5的，则C1层的大小是28x28。这里设定有6个不同的C1层，每一个C1层内的权值是相同的。 ? 2. S2层是一个下采样层，由4个点下采样为1个点，也就是4个数的加权平均，加权系数也需要通过学习得到。这个过程也叫做Pool。 3.我们很容易得到C3层的大小为10x10，不过，C3层有16个10x10网络! 我们只需要按照一定的规则来组合S2的特征图。具体的组合规则在?LeNet-5 系统中给出了下面的表格： ?4. ?S4 层是在C3层基础上进行下采样，前面已述。在后面的层中每一层节点个数比较少，都是全连接层，这里不再赘述。 小结： 经过计算，LeNet-5系统总共需要大约13万个参数，这与前面提到的全连接系统每个隐藏层就需要百万个参数有着天壤之别，极大地减少了计算量。 在以上的识别系统中，每个特征图提取后都紧跟着一个用来求局部平均与二次提取的亚取样层。这种特有的两次特征提取结构使得网络对输入样本有较高的畸变容忍能力。也就是说，卷积神经网络通过局部感受野、共享权值和亚取样来保证图像对位移、缩放、扭曲的鲁棒性。 Convolutional Neural Networks for P300 Detection with Application to Brain-Computer Interfaces P300检测 P300检测：检测P300的响应。 二分类：信号呈一个P300波形，则认为检测到；否则，检测不到。 挑战性： 尽管我们可以从实验中的范例得知P300的预期响应在什么时候，但是P300的响应取决于被试者。 实际上，即使一个P300响应可以被预测为在一个特定的时间点，但是被试者很可能不会在像人工产品一样在正确的时刻产生P300响应。 输入正则化 原始信号：由电极采集的EEG信号 输入数据正则化： 1.从EEG信号样本中提取子样本，从而降低数据的大小以便分析。等同于把信号用120HZ的抽样率采样。 2.用0.1到20HZ的带通滤波器处理输入数据 CNN的输入： 一个 矩阵。其中 是我们采集EEG信号时所有的电极的数量。 是每个电极采集到的EEG信号正则化以后长度。我们令 。 每个样本代表一部分经过650ms频闪灯后采集的信号。 神经网络拓扑结构 网络拓扑结构是分类器的关键特征。 网络由五层组成，每一层由一个或多个特征图组成。一个特征图代表一层的本质，含有一个特殊的语义： 1.第一层隐层的每个特征图代表一个电极通道的特征。 2.第二层隐层时间域上对信号进行下采样和变换。 神经网络拓扑结构 CNN的学习规律