02-深度学习兴起上.pptxVIP

深度学习兴起（上）

严骏驰

上海交通大学副教授

图像分析技术突破带来商业应用

2

深度学习的复兴

3

Hintonetal.2006

AlexNetetal.NIPS2012

Nature2015

4

[LeCun,BengioandHinton.DeepLearning.Nature2015.]

感知机（第一代人工神经网络）

1943年，McCullochandPitts提出基本的人工神经元

1958年，Rosenblatt提出感知机模型Perceptron

1969年，Minsky-Papert指出感知机无法解决非线性可分问题

5

FrankRosenblatt1928-1971

单层感知机解决不了异或问题

6

(1,1)

(1,0)

(0,1)

(0,0)

多层感知机（第二代人工神经网络）

Multi-LayerPerceptron(MLP)(上世纪80到90年代)

配合误差反向传播算法Back-Propagation

7

神经网络的复兴（深度神经网络/深度学习）

深度神经网络DeepNeuralNetworks

8

GeoffreyHinton

深度学习

卷积神经网络(CNN)、深度置信网络(DBN)

LeNet(Proc.ofIEEE1998),AlexNet(NIPS2012)etc.

循环神经网络模型RecurrentNeuralNetwork(RNN)

LSTM(NeuralComputation1997)

GRU(GatedrecurrentUnit,2014)

9

卷积神经网络

ConvolutionalNeuralNetworks

循环神经网络

RecurrentNeuralNetworks

深度学习-图像

10

预处理

特征设计

特征提取

原始数据

端对端学习、预测

分类器

此端

彼端