机器学习 课件 10.3卷积神经网络.pdf

卷积神经网络

卷积神经网络

卷积神经网络的产生背景

n维数太大，参数数量太多，

计算耗时，难以训练

+解决方案：CNN

10^4100

n没有利用像素间位置信息：局部感知

每个像素和其周围像素的联

问题：系较紧密，和距离远像素的

联系较小。参数共享

n网络层数限制，网络层数下采样

越多其表达能力越强，但是

通过梯度下降方法训练深度

全连接神经网络很困难。

卷积神经网络

卷积神经网络的产生背景

n维数太大，计算耗时，难以训练

10^4100

n缺乏利用像素间位置信息：每个像素和其周围像素

问题：的联系较紧密，距离远像素的联系较小。

n网络层数限制：网络层数越多其表达能力越强，但

是通过梯度下降方法训练深度全连接神经网络很困

难。

卷积神经网络

局部连接

人对外界的认知：从局部到全局图

像的空间联系也是局部的像素联系

较为紧密，距离较远的像素相关性

较弱。

每个神经元其实没有必要对全局图

像进行感知，只需要对局部进行感

知，然后在更高层将局部的信息综

合起来就得到了全局信息。

卷积神经网络

卷积层

卷积操作

局部连接

每个隐含单元仅仅只能连接

输入单元的一部分

卷积神经网络

Conkernel

卷积层101

010

101

卷积神经网络

卷积层

•权值共享

有效减少网络中的参数量！

•从生物学意义上来看，相邻神经

元的活性相似，从而它们可以共

享相同的连接权值。

•单从数据特征上来看，可以把每

个卷积核当作一种特征提取方式。

对于同一个卷积核，它在一个区

域提取到的特征，也能适用于其

他区域。

卷积神经网络

卷积层