深度学习原理与TensorFlow实践 课件 第2章 深度学习原理.pptx

深度学习原理与TensorFlow实践第二章深度学习原理深度学习的现实意义0201深度学习简介目录 深层神经网络的训练与优化0503深度学习的应用领域CONTENT04深层神经网络简介课前回顾人工智能与机器学习机器学习简介机器学习的分类深度学习简介0 1深度学习概念深度学习特点深度学习概念具有多个隐藏层的神经网络称为深层神经网络。基于深层神经网络的学习研究称之为深度学习（Deep Learning）深度学习概念人工智能、机器学习、神经网络和深度学习之间的关系可以如下图所示：深度学习特点深度学习强调了模型结构。 ---深度学习所使用的深层神经网络算法中，包含多个隐藏层，组成了“深层神经网络”，这也正是“深度学习”的名称的由来。 ② 深度学习注重非线性处理能力。 ---深度学习引入激活函数，实现对计算结果的非线性转换，避免因线性函数具有齐次性和可加性的特点使得多层神经网络退化成单层神经网络，极大地提高了学习能力。 ③ 深层神经网络具备特征提取和特征转换能力。 ---深层神经网络可以对特征进行自动提取，并且有能力对特征进行复合转换。也就是说，通过逐层特征转换，将样本空间的特征转换为更高维度空间的特征的组合，从而使特征分类更加符合业务需求。深度学习的现实意义0 2多层神经网络的模型结构非线性处理能力特征自动提取和转换多层神经网络的模型结构多层神经网络相比于宽度扩展的神经网络具备结构性优势。在相同数量的神经元组成的神经网络结构中，深度神经网络比宽度神经网络具备更多的输出可能性。宽度神经网络和深度神经网络模型结构非线性处理能力深层神经网络的非线性处理能力是通过激活函数来实现的。图2-3中采用了线性（Linear）激活函数，可以看到从图像上看数据无法被分类，模型拟合的分界线是一条直线，无法将不同颜色的数据点区分开来。训练误差和验证误差更是达到0.484和0.501，说明模型完全无效。非线性处理能力深层神经网络的非线性处理能力是通过激活函数来实现的。图2-4中采用了非线性激活函数（如ReLU），在完全一样的神经网络模型中对数据进行训练和分类。从图像上可以看出，数据很快进行了分类。在训练数据上的误差和在测试数据上的误差均只有0.001。自动特征提取简单的、本身没有太大意义的原始特征，通过特征提取、特征组合形成复杂特征之后，就变得很有价值了，这对业务部门和业务人员意义重大，这就是进行特征提取和特征转换的重要原因。自动特征提取深度学习会自动提取简单而抽象的特征，并组合成更加复杂的特征。深度学习是机器学习的一个分支，它除了可以完成机器学习的学习功能外，还具有特征提取的功能。自动特征提取深度学习算法不需要在样本数据输入模型前经历一个人工特征提取的步骤，将样本数据输入到算法模型中后，模型会从样本中提取基本的特征（如图像的像素）。本节小节深度学习简介深度学习的现实意义谢谢观看深度学习原理与TensorFlow实践第二章深度学习原理深度学习的现实意义0201深度学习简介目录 深层神经网络的训练与优化0503深度学习的应用领域CONTENT04深层神经网络简介课前回顾机器学习的分类深度学习简介深度学习的现实意义深度学习的应用领域计算机视觉自然语言语音识别0 3计算机视觉计算机视觉是一门研究如何使机器“看”的科学。更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等的机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。画面重建事件监测目标跟踪图像识别索引建立图像恢复。。。。计算机视觉试图自动化人类视觉系统能够完成的任务。包括：计算机视觉机器视觉就是用机器代替人眼来做测量和判断。机器视觉是一项综合技术，包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术(图像增强和分析算法、图像卡、 I/O卡等)。一个典型的机器视觉应用系统包括:图像捕捉、光源系统、图像数字化模块、数字图像处理模块、智能判断决策模块、机械控制执行模块。计算机视觉机器视觉系统最基本的特点就是：提高生产的灵活性、提高生产的自动化程度。计算机视觉ILSVRC（ImageNet Large Scale Visual Recognition Challenge）是近年来机器视觉领域最受追捧也是最具权威的学术竞赛之一，代表了图像领域的最高水平。ILSVRC主要评价算法在大尺度上对物体检测和图像分类的效果。计算机视觉12-15年期间在ImageNet比赛上提出了一些经典网络，比如AlexNet，ZFNet，OverFeat，VGG，Inception，ResNet。2012 年， AlexNet，赢得了当年的 ILSVRC。这是史上第一次有模型在 ImageNet 数据集表现如此出色。正是因为ILSVRC 2012