深度学习基础幻灯片.pptVIP

Deep Learning 1 2020/4/2 目录 ? 深度学习简介 ? 深度学习的训练方法 ? 深度学习常用的几种模型和方法 ? Convolutional Neural Networks 卷积神经网络 ? 卷积神经网络 （ CNN ） 在脑机接口中的应用 2 2020/4/2 What is Deep Learning? A brief introduce of deep learning 3 2020/4/2 机器学习 ? 机器学习（ Machine Learning ）是一门专门研究计算机 怎样模拟或实现人类的学习行为，以获取新的知识或 技能，重新组织已有的知识结构市值不断改善自身的 性能的学科，简单地说，机器学习就是通过算法，使 得机器能从大量的历史数据中学习规律，从而对新的 样本做智能识别或预测未来。 ? 机器学习在图像识别、语音识别、自然语言理解、天 气预测、基因表达、内容推荐等很多方面的发展还存 在着没有良好解决的问题。 4 2020/4/2 特征的自学习 传统的模式识别方法： 通过传感器获取数据，然后经过预处理、特征提取、特 征选择、再到推理、预测或识别。 特征提取与选择的好坏对最终算法的确定性齐了非常关 键的作用。而特征的样式目前一般都是靠人工提取特征。 而手工选取特征费时费力，需要专业知识，很大程度上 靠经验和运气，那么机器能不能自动的学习特征呢？深 度学习的出现就这个问题提出了一种解决方案。 5 2020/4/2 深度学习 ? 自 2006 年，深度学习（ Deep Learning ）已经成为机器 学习研究中的一个新兴领域，通常也被叫做深层结构 学习或分层学习。其动机在于建立、模拟人脑进行分 析学习的神经网络，它模拟人脑的机制来解释数据， 例如图像，声音和文本，深度学习是无监督学习的一 种。 ? 深度学习的概念源于人工神经网络的研究，含多隐层 的多层感知器就是一种深度学习结构。深度学习通过 组合低层特征形成更加抽象的高层表示属性类别或特 征，已发现数据的分布式特征表示。 6 2020/4/2 人脑的视觉机理 1981 年的诺贝尔医学奖获得者 David Hubel 和 Torsten Wiesel 发现了视觉系统的信息处理机制，他们 发现了一 种被称为“方向选择性细胞的神经元细胞，当瞳孔发现 了眼前的物体的边缘，而且这个边缘指向某个方向时， 这种神经元细胞就会活跃。 7 2020/4/2 由此可知人的视觉系统的信息处理是分级的，高层的特 征是低层特征的组合，从低层到高层的特征表示越来越 抽象，越来越能表现语义或者意图，抽象层面越高，存 在的可能猜测就越少，就越利于分类。 8 2020/4/2 浅层学习与深度学习 ? 传统机器学习和信号处理技术探索仅含单层非线性变 换的浅层学习结构。浅层模型的一个共性是仅含单个 将原始输入信号转换到特定问题空间特征的简单结构。 典型的浅层学习结构包括传统隐马尔科夫模型 (HMM) 、 条件随机场 (CRFs) 、最大熵模型 (Max Ent) 、支持向量 机 (SVM) 、核回归及仅含单隐层的多层感知器 (MLP) 等。 ? 浅层结构的局限性在于有限的样本和计算单元情况下 对复杂的函数表示能力有限，针对复杂分类问题其泛 化能力受到一定的制约。 9 2020/4/2 ? 受到大脑结构分层的启发，神经网络的研究发现多隐 层的人工神经网络具有优异的特征学习能力，学习得 到的特征对数据有更本质的刻画，从而有利于可视化 或分类；而深度神经网络在训练上的难度，可以通过 “逐层初始化”来有效克服。 ? 深度学习可以通过学习一种深层非线性网络结构，实 现复杂函数逼近，表征输入数据分布式表示，并展现 了强大的从少数样本中集中学习数据及本质特征的能 力。 10 2020/4/2 ? 深度学习的实质 ? 通过构建具有很多隐层的机器学习模型和海量的训练数 据，来学习更有用的特征，从而最终提升分类或预测的 准确性。因此，“深度模型”是手段，“特征学习”是 目的。 ? 深度学习与浅层学习的区别 ? 强调了模型结构的深度，通常有 5-10 多层的隐层节点； ? 明确突出了特征学习的重要性，通过逐层特征变换，将 样本在原空间的特征表示变换到一个新特征空间，从而 使分类或预测更加容易。与人工规则构造特征的方法相 比，利用大数据来学习特征，更能够刻画数据的丰富内 在信息。 11 2020/4/2 深度学习的训练方法 与神经网络的异同 12 2020/4/2 深度学习与神经网络的异同 神经网络 深度学习 13 2020/4/2 深度学习与神经网络的异同 ? 相同点 二者均采用分层结构，系统包括输入层、隐层（多层）、 输出层组成的多层网络，只有相邻层节点之间有连接，同 一层以及跨层节点之间相互无连接，