Tensorflow全连深度神经网络（DNN）.pptx

深度神经网络（DNN）1.掌握DNN神经网络2.理解DNN神经网络思想1. BP算法回顾2. 介绍DNN神经网络概述：BP算法回顾反向传播算法的学习任务搜索一个巨大的假设空间，这个空间由网络中所有的单元的所有可能的权值定义，得到误差曲面在多层网络中，误差曲面可能有多个局部极小值，梯度下降仅能保证收敛到局部极小值尽管有这个障碍，已经发现对于实践中很多应用，反向传播算法都产生了出色的结果概述：BP算法回顾隐含层δpk-1的值和δ1k，δ2k，…，δmk 有关不妨认为δpk-1通过权wp1对δ1k做出贡献，通过权wp2对δ2k做出贡献，……，通过权wpm对δmk做出贡献。δpk-1= fk-1′(netp) (wp1δ1k+ wp2δ2k+…+ wpmδm k)概述： BP算法回顾隐含层whp=whp+?whp ? whp=α δpk-1ohk-2 =α fk-1 ′(netp)( wp1δ1k+ wp2δ2k+…+ wpmδmk)ohk-2 =α opk-1(1-opk-1)( wp1δ1k+ wp2δ2k+…+ wpmδmk)ohk-2概述： DNN的背景2012年6月，《纽约时报》披露了Google Brain项目，吸引了公众的广泛关注。2013年1月，在百度年会上，创始人兼CEO李彦宏高调宣布要成立百度研究院，其中第一个成立的就是“深度学习研究所”2012年11月，微软在中国天津的一次活动上公开演示了一个全自动的同声传译系统概述： DNN的背景实际中特征提取都是靠手工提取的，截止现在，也出现了不少好特征：手工地选取特征是一件非常费力、启发式（需要专业知识）的方法，能不能选取好很大程度上靠经验和运气！！而且它的调节需要大量的时间。概述： 从视觉认知到DNN这个过程关键在于抽象和迭代。从原始信号开始，做低级抽象，逐渐向高级抽象迭代。如图，从原始信号摄入开始（瞳孔摄入像素Pixels），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定，眼前的物体的形状），然后进一步抽象（大脑进一步判定该物体是谁的脸）概述： 从视觉认知到DNN大家都注意到关键词了：分层。而Deep learning的deep是不是就表示存在多少层，也就是多深呢？Deep learning是如何借鉴这个过程的呢？毕竟是归于计算机来处理，面对的一个问题就是怎么对这个过程建模及其程序实现概述： DNN的基本思想假设有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，形象地表示为： I=S1=S2=…..=Sn = O，如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失，保持了不变，这意味着输入I经过每一层Si都没有任何的信息损失，即在任何一层Si，它都是原有信息（即输入I）的另外一种表示。输入Isystem输出Oi=o概述： DNN的基本思想对于深度学习来说，其思想就是堆叠多个层，也就是说这一层的输出作为下一层的输入。通过这种方式，就可以实现对输入信息进行分级表达了。1、介绍了BP算法2、掌握了DNN卷积神经网络 2012年6月，《纽约时报》披露了Google Brain项目，吸引了公众的广泛关注。这个项目是由著名的斯坦福大学的机器学习教授Andrew Ng和在大规模计算机系统方面的世界顶尖专家JeffDean共同主导，用16000个CPU Core的并行计算平台训练一种称为“深度神经网络”（DNN，Deep Neural Networks）的机器学习模型（内部共有10亿个节点。这一网络自然是不能跟人类的神经网络相提并论的。要知道，人脑中可是有150多亿个神经元，互相连接的节点也就是突触数更是如银河沙数。曾经有人估算过，如果将一个人的大脑中所有神经细胞的轴突和树突依次连接起来，并拉成一根直线，可从地球连到月亮，再从月亮返回地球），在语音识别和图像识别等领域获得了巨大的成功。 2012年11月，微软在中国天津的一次活动上公开演示了一个全自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译和中文语音合成，效果非常流畅。据报道，后面支撑的关键技术也是DNN，或者深度学习（DL，DeepLearning）。 2013年1月，在百度年会上，创始人兼CEO李彦宏高调宣布要成立百度研究院，其中第一个成立的就是“深度学习研究所”（IDL，Institue of Deep Learning）。 截止现在，也出现了不少NB的特征（好的特征应具有不变性（大小、尺度和旋转等）和可区分性）：例如Sift的出现，是局部图像特征描述子研究领域一项里程碑式的工作。由于SIFT对尺度、旋转以及一定视角和光照变化等图像变化都具有不变性，并且SIFT具有很强的可区分性，的确让很多问题的解决变为可能。但它也不是万能的。