基于keras的深度学习介绍课件.pptVIP

卷积层的工作 当从一个大尺寸图像中随机选取一小块，比如说 3x3 作为样本，并且从这个小块样本中学习到了一些特征，这时我们可以把从这个 3x3 样本中学习到的特征作为探测器，应用到这个图像的任意地方中去。特别是，我们可以用从 3x3 样本中所学习到的特征跟原本的大尺寸图像作卷积，从而对这个大尺寸图像上的任一位置获得一个不同特征的激活值。 卷积有什么用 那么当它移动到上面的位置时，按照矩阵操作，将这个区域的图像像素值与滤波器相乘，我们得到一个很大的值（6600）： 而当这个滤波器移动到其他区域时，我们得到一个相对很小的值： 池化（Pooling） 左侧矩阵A是20*20的矩阵要进行大小为10*10的池化，那么左侧图中的红色就是10*10的大小，对应到右侧的矩阵，右侧每个元素的值，是左侧红色矩阵每个元素的值得和再处于红色矩阵的元素个数，也就是平均值形式的池化。 pooling层有什么用 更关注是否存在某些特征而不是特征具体的位置。可以看作加了一个很强的先验，让学到的特征要能容忍一些的变化 不变性 文本分类的时候输入是不定长的，可以通过池化获得定长输出 获得定长输出 或有可能会带来欠拟合 减小下一层输入大小，减小计算量和参数个数 防止过拟合 translation invariance（平移不变性） 假设有一个16x16的图片，里面有个数字1，我们需要识别出来，这个数字1可能写的偏左一点(图1)，这个数字1可能偏右一点(图2)，图1到图2相当于向右平移了一个单位，但是图1和图2经过max pooling之后它们都变成了相同的8x8特征矩阵，主要的特征我们捕获到了，同时又将问题的规模从16x16降到了8x8，而且具有平移不变性的特点。图中的a（或b）表示，在原始图片中的这些a（或b）位置，最终都会映射到相同的位置。 rotation invariance（旋转不变性） 下图表示汉字“一”的识别，第一张相对于x轴有倾斜角，第二张是平行于x轴，两张图片相当于做了旋转，经过多次max pooling后具有相同的特征 scale invariance（尺度不变性） 下图表示数字“0”的识别，第一张的“0”比较大，第二张的“0”进行了较小，相当于作了缩放，同样地，经过多次max pooling后具有相同的特征 Keras 循环神经网络（RNN_Recurrent Neural Networks） 全连接的DNN还存在着另一个问题——无法对时间序列上的变化进行建模。假设你希望对电影中的每个时间点的时间类型进行分类。传统的神经网络应该很难来处理这个问题——使用电影中先前的事件推断后续的事件。RNN 解决了这个问题。RNN 是包含循环的网络，允许信息的持久化。对于自然语言处理、语音识别、手写体识别等应用非常重要 RNN展开 在过去几年中，应用 RNN 在语音识别，语言建模，翻译，图片描述等问题上已经取得一定成功，而这些成功应用的关键之处就是 LSTM 的使用，这是一种特别的 RNN，比标准的 RNN 在很多的任务上都表现得更好。几乎所有的令人振奋的关于 RNN 的结果都是通过 LSTM 达到的。 如果我们将这个循环展开： 主要深度学习理论 1 评估函数 2 优化函数 3 Available metrics acc(accuracy) binary_accuracy: 对二分类问题,计算在所有预测值上的平均正确率 categorical_accuracy:对多分类问题,计算再所有预测值上的平均正确率 sparse_categorical_accuracy:与categorical_accuracy相同,在对稀疏的目标值预测时有用 top_k_categorical_accracy: 计算top-k正确率,当预测值的前k个值中存在目标类别即认为预测正确 sparse_top_k_categorical_accuracy：与top_k_categorical_accracy作用相同，但适用于稀疏情况 f1_score T / F: 表明我预测的结果的类别 P / N: 表明实际的类别 组合： TP： 我认为是A类，结果确实是A类 TN： 我认为是B类，结果确实是B类 FP： 我认为是A类，结果是B类 FN： 我认为是B类，结果是A类f1_score 假设有2000个样本，A、B两类各1000个，你只猜了10个A，全猜对了，这样P=10/(10+0)很高，但R=10/(10+990)很低。 关于优化方法使用的问题 开始总会纠结哪个优化方法好用，但是最好的办法就是试，无数次尝试后不难发现，Sgd的这种学习率非自适应的优化方法，调整学习率和初始化的方法会使它的结果有很大不同，但是由于收敛确实不快，总感觉不是很方便，我觉得之前一直使用Sgd的原因一方