《智能检测技术》教学课件-第2章-3机器学习与深度学习.pptxVIP

第 2 章智能检测技术的基础理论;本章主要内容;神经网络是一门重要的机器学习技术。是目前最火研究方向--深度学习的基础。学习ANN不仅让你掌握一门强大的机器学习方法，也可更好帮助理解深度学习技术。;一.?经典神经网络： 是一个包含三个层次的神经网络。红色的是输入层，绿色的是输出层，紫色的是中间层（也叫隐藏层）。输入层有3个输入单元，隐藏层有4个单元，输出层有2个单元。;二.?神经元;MP神经元模型;1949年心理学家Hebb提出了Hebb学习率，认为人脑神经细胞的突触（即连接）上的强度是可以变化的。计算科学家开始考虑用调整权值的方法来让机器学习。这为后面的学习算法奠定了基础。尽管神经元模型与Hebb学习律都已诞生，但限于当时计算机能力，直到近10年后，第一个真正意义的神经网络才诞生。 ;在原来MP模型的“输入”位置添加神经元节点，标志为“输入单元”。其余不变，就有了下图：将权值w1, w2, w3写到“连接线”的中间。在“感知器”中，有两个层次。分别是输入层和输出层。输入层里的“输入单元”只负责传输数据，不做计算。输出层的“输出单元”则需对前一层输入进行计算。要计算的层次被称之为“计算层”，并把拥有一个计算层的网络称之为“单层神经网络”。;与神经元模型不同，感知器的权值是通过训练得到的。感知器类似一个逻辑回归模型，可做线性分类任务。用决策分界来形象表达分类效果。决策分界就是在二维的数据平面中划出一条直线；当数据维度是3维的时候，就是划出一个平面；当数据的维度是n维时，就是划出一个n-1维超平面。图示二维平面的决策分界效果，即感知器的分类效果。感知器只能做简单的线性分类任务。;四. 两层神经网络（多层感知器）;与单层网络不同，理论证明两层网络可无限逼近任意连续函数。即，面对复杂非线性分类任务，两层网络可以分类的很好。例子：红色的线与蓝色的线代表数据。而红色区域和蓝色区域代表由神经网络划开的区域，两者的分界线就是决策分界。;隐层节点数设计：输入层的节点数要与特征维度匹配，输出层节点数要与目标维度匹配。而中间层的节点数，是由设计者??定的。节点数设置的多少，却会影响到整个模型的效果。 较好的方法就是预先设定几个可选值，通过切换这几个值来看整个模型的预测效果，选择效果最好的值作为最终选择。这种方法又叫做Grid?Search（网格搜索）。;梯度下降的场景假设;反向传播算法：神经网络模型由于结构复杂，每次计算梯度的代价很大。因此还需要使用反向传播（BP）算法。BP算法利用网络结构进行的计算。不一次计算所有参数的梯度，而是从后往前。首先计算输出层梯度，然后是第二个参数矩阵的梯度，接着是中间层的梯度，再然后是第一个参数矩阵的梯度，最后是输入层的梯度。计算结束以后，所要的两个参数矩阵的梯度就都有了。反向传播算法可以直观的理解为下图。梯度的计算从后往前，一层层反向传播。前缀E代表着相对导数的意思。反向传播算法可以直观的理解为下图。梯度的计算从后往前，一层层反向传播。前缀E代表着相对导数的意思。;神经网络仍然存在若干问题：尽管使用了BP算法，神经网络的训练一次仍耗时太久，而且困扰训练优化的是局部最优解问题，使得神经网络的优化较为困难。同时，隐藏层的节点数需要调参，这使得使用不太方便，工程和研究人员对此多有抱怨。 90年代中期，由Vapnik等人发明的SVM（Support Vector Machines，支持向量机）算法诞生，很快就在若干个方面体现出了对比神经网络的优势：无需调参；高效；全局最优解。基于以上种种理由，SVM迅速打败了神经网络算法成为主流。 ;六. 多层神经网络（深度学习）;Ng一共开设过两门机器学习公开课程：一个是2003年在Standford开设的，面向全球的学生，可在网易公开课上找到；另一个是2010年专门为Coursera上的用户开设的，需要登陆Coursera上才能学习。;不断添加层数可得到更多层神经网络。公式推导跟两层网络类似，使用矩阵运算就仅加一个公式而已。在已知输入a(1)，参数W(1)，W(2)，W(3)的情况下，输出z的推导公式如下： ? ??g(W(1)?*?a(1)) =?a(2);? ? ? g(W(2)?*?a(2)) =?a(3); g(W(3)?*?a(3)) =?z;　;目前，深度神经网络在人工智能界占据统治地位。但凡有关人工智能的产业报道，必然离不开深度学习。我们回顾一下神经网络发展的历程。神经网络的发展历史曲折荡漾，既有被人捧上天的时刻，也有摔落在街头无人问津的时段，中间经历了数次大起大落。从单层神经网络（感知器）开始，到包含一个隐藏层的两层神经网络，再到多层的深度神经网络，一共有三次兴起过程。;七、深度学习VS机器学习;深度学习;没找到猫和狗的神经网络图片，倒是看到人