TensorFlow热恋调研报告.pdfVIP

神经元 多层神经元 Multi-Layer Perceptron • 多层感知机 • 第一层输入层，最后输出层，中间隐藏层 • 除了输出层，每层神经元包括bias都是 • 全连接到下一层 • ANN人工神经网络有两个或两个以上隐藏层，称为DNN • 深度神经网络 Backpropagation • 反向传播，就是梯度下降使用reverse-mode autodiff • 前向传播，就是make predictions，然后计算输出误差，然 后计算出每个神经元节点对误差的贡献 • 求贡献就是反向传播是根据前向传播的误差来求梯度 • 然后根据贡献调整原来的权重 Reverse-mode Autodiff • 反向自动求导是TensorFlow实现的方案，首先，它执行图 的前向阶段，从输入到输出，去计算节点值，然后是反向 阶段，从输出到输入去计算所有的偏导。 • 下面的图是第二个阶段，在第一个阶段中，从x=3和y=4开 始去计算所有的节点值 2 • f(x,y)= ∗y +y +2 • 求解的想法是逐渐的从图上往下，计算f(x,y)的偏导，使用 每一个连续的节点，直到我们到达变量节点，严重依赖链 式求导法则！ Reverse-mode Autodiff f • 因为n7是输出节点，所以f=n7 ，所以 = 1 7 • 让我们继续往下走到n5节点， f = f ∗ 7. 我们已知 f = 1，所以我们需 5 7 5 7 要知道7，因为n7=n5+n6，所以我们求得7 =1 ，所以f = 1*1=1 5 5 5 f f 5 5 • 现在我们继续走到节点n4， = ∗ ，因为n5=n4*n2，我们求得 = 4 5 4 4 f n2， = 1*4 4 • 沿着图一路向下，我们可以计算出所有节点，就能计算出 = 24 ， = 10 x y • 那我们就可以利用和上面类似的方式方法去计算co Backpropagation Backpropagation 整体Backpropagation Momentum Optimizat