常见的深度学习-循环神经网络.ppt

深度学习之循环神经网络 陈鹏 1 目录 1：深度学习发展史 2：从神经网络到深度学习 3：循环神经网络基础 4：自然语言处理基础（扩充知识） 2 1：深度学习发展史 3 深度学习发展史 SVM Boosting Decision tree KNN … Neural network Back propagation 1986 2006 Deep belief net Science Speech 2011 2012 Computer vision NLP Speech …… 2014 Geoffrey Hinton 1949 Learning model of neurons 1958 Perceptron Hebb Rosenblatt Geoffrey Hinton DBN CNN RBM RNN … 机器学习第一次浪潮： 机器学习第二次浪潮 浅层学习模型 (Shallow Learning) 深度学习模型 (Deep Learning) First Winter of NN Second Winter of NN 4 深度学习（多层神经网络） 神经网络 神经元 5 synapse dendrite Cell body Synaptic terminals Axon 轴突末梢 突触 树突 细胞体 轴突 神经元是构成神经网络的最基本单元(构件), 因此, 首要任务是构造人工神经元模型。 神经元模型 6 典型的激励函数(Activation Function)： 线性函数，非线性斜面函数，阶跃函数， S型函数等。 神经元模型 7 x1 xM h1 hL o1 oN w11 wm1 wM1 wmL wML w1L v11 vl1 vL1 vLN 神经网络一般形式 • Nonlinearity 非线性 • Parallel Processing 并行处理 • Input—Output Mapping 输入输出匹配 • Adaptivity 自适应性 8 最简单的神经网络： Perceptrons 9 Single Layer Perceptrons Rosenblatt, 1957 10 两类样本：白色和黑色 分类错误的样本用红色轮廓 目标：分类正确所有样本，直到没有红色轮廓的样本。 W=[1.66 1.11] b=[1.25] Single Layer Perceptrons： 迭代过程 where? 11 Single Layer Perceptrons：局限性 The objective is only to find the line that separates two linearly separable classes. As soon as the first solution weights vector, which separates all the data pairs corretly, is found, there will be no further changes of the vector. So, the perceptron learning is not an optimization method. 线性可分问题 Problems: it can not separate patterns when there is an overlapping of data or when classes are not linearly Separable 不能处理线性不可分问题 x1 0 0 1 1 x2 0 1 0 1 d 0 1 1 0 异或问题： 12 x1 x2 y 0 0 0 1 0 0 0 1 0 1 1 1 x1 x2 y 0 0 0 1 0 1 0 1 1 1 1 1 x1 x2 y 0 0 0 1 0 1 0 1 1 1 1 0 Linear Separable Problem 13 Single Layer Perceptrons For XOR problem: 1. introducing one additional neuron in a special way; 2. using differentiable activation function; ◙　一个单级网络可以将平面划分成两部分，用多个单级网组合在一起， 　　就可以构成一个两级网，该网络可以被用来在平面上划分出一个封闭 　　或者开放的凸域来； ◙　采用特殊的激励函数。 14 2：从神经网络到深度学习 15 神经网络 深度学习网络