西交大-人工智能导论 第2版课件-第7章 人工神经网络-卷积神经网络.pptx

人工智能导论

AGuidetoArtificsialIntelligense.;

第七章人工神经网络与;

7.2.3卷积神经网络

·深度学习表现出优异性能

·模式识别类问题(例如：图像识别、语音识别)

·自然语言处理类问题(例如：机器翻译，语言模式)

·卷积神经网络(ConvolutionalNeuralNetworks,CNN)

·深度学习的典型代表之一

·前馈人工神经网络

·继BP网络之后，再次掀起ANN研究高潮

·极大地解决了模式识别应用化问题

·当前AI浪潮的动力之一;

·ConvolutionalNeuralNetwork

·20世纪60年代，Hubel等人的生物学研究表明，视觉信息从视网膜传递到大脑中是通过多个层次的感受野激发完成。

·1980年，Fukushima第一次提出了基于感受野的理论模型，即CNN的前身-neocognitron。

·1998年，LeCun等人确定了CNN的结构，并设计了一种多层人工神经网络，即LeNet-5。

·LeNet-5通过交替连接的卷积层和下采样层对原始图像转换为一系列特征图，

·最后，通过全连接的神经网络对图像特征表达进行分类。

·LeNet-5采用BP算法训练网络。;

卷积神经网络一=CNN

·基本架构

·卷积层(convolutionallayer)

·池化层(poolinglayer)

·全连接层(fully-connectedlayer)

·主要特点

·局部感知

·权值共享;

CNN的核心思想

☆局部感知

◆一般认为人对外界的认知是从局部到全局的，

◆而图像的空间联系也是局部的像素联系较为紧密，而距离较远的像素相关性则较弱。

◆因而，每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，

◆然后在更高层将局部的信息综合起来就得到了全局的信息

FULLYCONNECTEDNEURALNETLOCALLYCONNECTEDNEURALNET

Example:1000×1000imoge

10*12parameters!

100Mparameters;

CNN的核心思想

☆权值共享

◆图像中某一部分的统计特性与其它部分是一样的。;

☆卷积目的：

可以使原图片中的信号增强，可以降低噪声，有利于提取原特征

☆卷积可以看成一种映射：

一个原始图片通过卷积核函数变成了一个特征图。;

☆卷积

◆对信号的错位加权叠加

◆掩码g(m)反转后在信号f(n)上平移求和

☆一维离散卷积

M:信号f(n)的长度

g(m):滤波器或掩码

s(n):卷积结果序列，长度为len(fln)+len(g(n)-1;

卷积概念;

◆x为input,w为kernel,s为featuremap

◆特征图边长：

◆卷积核边长为奇数通

◆δ为卷积核滑动步长般称为stride;

卷积层;

☆多深度图像的卷积

◆右图原始彩色图有3个通道(Channel),

或者说深度为3

◆每个深度上都有各自的卷积窗口，所以实际上共有3×4=12个卷积窗口

◆生成4个特征图;

FilterWO(3x3x3)

w0[:,:,0]

-111

11-1

!-11

w0[【:,:,1]

习

0

0;

☆目的项sl

◆减少数据处理量，max(10,15,18,30)=30max(80,12,11,20)=80

◆保留有用信息。

max(11,19,30,31)=31max(48,51,45,59)=59

二;

池化层;

☆卷积过程：

☆子采样过程：;

☆FullConnectionLayer

◆也称为DenseLayer

☆连接方式

◆假设第L-1层有m个神经元，◆第L层有n个神经元，

◆L层的每一个神经元均与L-1层的所有神经元连接，

◆再加一个偏置向量。;

Inception结构

Inception结构是一种网中网结构，即原来的结点也可以是一个网络

采用不同的卷积核意味着不同大小的感受野，最后拼接意味着不同尺度特征的融合;

Tanh:;

AlexNet

出世

2012年Hinton的学生AlexKrizhevsky提出了AlexNet获得当年ImageNet比赛冠军，其识别精度大大优