机器学习（下篇，共上中下3篇）.pptxVIP

第10章深度学习基础

卷积神经网络

复旦大学赵卫东博士

wdzhao@;

?深度学习是一种利用复杂结构的多个处理层来实现对数据进行高层次抽象

的算法，是机器学习的一个重要分支。传统的BP算法仅有几层网络，需要手工指定特征且易出现局部最优问题，而深度学习引入了概率生成模型，可自动地从训练集提取特征，解决了手工特征考虑不周的问题，而且初始化了神经网络权重，采用反向传播算法进行训练，与BP算法相比取得了很好的效果。本章主要介绍了深度学习相关的概念和主流框架，重点介绍卷积神经网络和循环神经网络的结构以及常见应用。;;;;;

神经元所影响的刺激区域称为神经元的感受野(

receptivefield），不同神经元感受野的大小和性质都不同。

加拿大神经生理学家DavidHunterHubel和瑞典神经科学家TorstenNilsWiesel在20世纪50年代和60年代??始研究视觉机制：将图像投射到屏幕上，将测量神经元活动的电线插入猫的大脑，通过固定猫的头部来控制视网膜上的成像，测试生物细胞对线条、直角、边缘线等图形的反应。

研究结构：有些细胞对某些处在一个角度上的线条、垂直线条、直角或者明显的边缘线，都有特别的反应。要引起这个细胞反应，直线的朝向只能落在一个很小的角度范围里（该细胞的感受野内）。;;;;

感受野就是视觉感受区域的大小。在卷积神经网络中，

感受野是CNN中的某一层输出结果的一个元素对应输入层的一个映射，即featuremap上的一个点所对应的输入图上的区域。

获取特征;

感受野示例;;;

Sigmoid

;

仅仅训练一小部分全连接的权值参数就有可能达到和原来网络相近甚至超过原来网络的性能（一种正则化）

卷积可以获得特征

多次卷积可以获得不同层次的特征

共享权重减少网络参数;

赵卫东复旦大学;;;;;;;;

将2×2的输入上采样成5×5的输出;;;;;;;

n1998年，LeCun提出LeNet，并成功应用于美国手写数字识别。测试误差小于1%。

n卷积层、pooling层、全连接层，这些都是现代CNN网络的基本组件。

nmnist包含6万张训练集图像和1万张测试???图像，其大小均为28*28，按照图像内容的不同分为手写数字0-9。;

赵卫东复旦大学;;;;;;;;;;;;

赵卫东复旦大学;;;;;;

?数据增强根据当前已知的图像数据集生成更多的训练图像，是利用多种能够生成可信图像的随机变换来增加原始图像数量。

?数据增强是在未改变原始图像特征内容的基础上对图像数量的扩充，从而避免图像不足而导致的模型过拟合、泛化性差等缺陷，在小型图像数据集训练时是必要的。;

?为了增加数据量，丰富数据多样性，提高模型的泛化能力，也可以有效缓解模型过拟合的情况，提高模型泛化能力。对于图像分类，数据增强一般不会改变标签。

?旋转、缩放、平移、裁剪、改变视角、遮挡某局部区域，不改变图片的类别标签;

图像遮挡;;;;

nDNNs是以概率p舍弃部分神经元，其它神经元以概率1-p被保留，舍去的神经元的输出都被设置为零。

n丢弃法Dropout在实践中能很好工作是因为其在训练阶段阻止神经元的共适应;

进一步加速收敛，因此学习率可以适当增大，加快训练速度。

可以不用Dropout或用较低的Dropout。

在模型训练时，采用梯度下降法对最优参数进行搜索时，输入特征分布对模型性能的影响很大。

当不同输入特征的取值分布范围差异较大，会导致在参数空间上寻找最优参数时，产生较大偏差

。

内部协变量偏移效应（InternalCovariateShift）

当BatchSize过小时，BNBatchNormalization层的均值和标准差计算与整个数据集的实际统计数据相差过大，归一化效果不佳。;;;;;

基于深度神经网络的股票预测;

统计窗口内涨跌次数作为窗口的标记：

窗内涨多跌少，则标记为1;反之标记为-1;;;

L相似指标作为不同通道;

优化空间：

o增加信息量（大数据方面）

o调整网络结构

o实际交易风险控制;;;

?AlexNet是最早的现代神经网络，AlexNet证明了CNN在复杂模型下的有效性

,使用GPU使得训练在可接受的时间范围内得到结果，推动了有监督深度学习的发展。;;;

赵卫东复旦大学;

?AlexNet有八个带权层，前五个是卷积层，剩下三层是全连接层。第一个卷

积层利用96个大小为11X11X3、步长为4个像素的核，对大小为224X224X3的

输入图像进行卷积