DL深度学习.pptx

Deep Learning MHZshan 内容结构概念介绍算法介绍现有库321概念简介为什么有Deep learning？Why什么是Deep learning？What怎么来的？概念简介机器学习思路(图像识别为例)：FR: 手工选取费力，费时，专业性能力Input Feature Representation LA概念简介特征提取过程概念简介 机器学习就是通过算法，使得机器能从大量的历史数据中学习规律，从而对新的样本做智能识别或预测未来。 深度学习是机器学习研究中的一个新的领域，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。 深度学习是无监督学习的一种(仅对特征提取)。 又名Unsupervised Feature Learning概念简介1、浅层学习（Shallow Learning）：机器学习第一次浪潮 基于BP(反向传播)算法，1层或2层 主要算法：LR，SVM，MLP，Boosting，Bayes2、深度学习（Deep Learning）：机器学习第二次浪潮 逐层初始化，layer-wise，多层 主要算法：AutoEncoder, DBM,CNN,RNN “深度模型”是手段，“特征学习”是目的。 算法介绍 算法介绍-AutoEncoder1、AutoEncoder 特征g(W’, b’)f(W, b)原始数据重构数据算法介绍-AutoEncoder2、Denoising Autoencoder 顶层分类器算法介绍-AutoEncoder 算法介绍-DBM 算法介绍-DBM 算法介绍-CNN 算法介绍-CNN 特征的不断提取与映射算法介绍-CNN 卷积和子采样 卷积层：初步提取特征子采样层：特征映射算法介绍-RNN 当前数据过去时刻数据算法介绍-RNN 算法介绍-LSTM 算法介绍-LSTM核心过滤层只有一层核心过滤层有四层 算法介绍-LSTM 遗忘门限层：决定哪些信息需要从单元状态中抛弃 ft的值为0或1，0表示抛弃，1表示保留算法介绍-LSTM tanh层： 决定有哪些信息有可能加入到新状态输入门限层：决定哪些信息需要加入到新状态 ft的值为0到1，0表示不加入，1表示完全加 入，(0,1)表示按比例加入算法介绍-LSTM Cell更新层：更新旧Cell状态，包括两部分信息 第一部分为上一个Cell通过的信息， 第二部分为本次更新的信息算法介绍-LSTM 输出层： tanh层将Cell状态规则化 Ot层决定要输出哪些部分，进行过滤现有库 现有库 Thanks!从开始获得数据。然后经过预处理、特征提取、特征选择，再到推理、预测或者识别。最后一个部分，也就是机器学习的部分，绝大部分的工作是在这方面做的，也存在很多的学术论文和研究。而中间的三部分，概括起来就是特征表达。良好的特征表达，对最终算法的准确性起了非常关键的作用，而且系统主要的计算和测试工作都耗在这一大部分。但是这块实际中一般都是人工完成的，即靠人工提取特征。总的来说，人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征，再到V2区的形状或者目标的部分等，再到更高层，整个目标、目标的行为等。也就是说高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图。而抽象层面越高，存在的可能猜测就越少，就越利于分类。这种思考方式更接近人脑。Deep Learning就是用来干这个事情的，看它的一个别名Unsupervised Feature Learning。主要指的是特征选取这一方方面是无监督的学习，最后一步还是需要有监督的分类来解决问题1）强调了。模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；2）明确突出了特征学习的重要性对于深度学习来说，其思想就是对堆叠多个层，也就是说这一层的输出作为下一层的输入。通过这种方式，就可以实现对输入信息进行分级表达了Ae=autoencoder提取特征？通过反复迭代训练两组（W、b），使得误差函数最小，即尽可能保证z近似于x，即完美重构了x。提取特征？通过反复迭代训练两组（W、b），使得误差函数最小，即尽可能保证z近似于x，即完美重构了x。以这丢失的数据x‘去计算y，计算z，并将z与原始x做误差迭代，这样，网络就学习了这个破损（原文叫Corruputed）的数据。其之一，通过与非破损数据训练的对比，破损数据训练出来的Weight噪声比较小。降噪因此得名。原因不难理解，因为擦除的时候不小心把输入噪声给×掉了。其之二，破损数据一定程度上减轻了训练数据与测试数据的代沟。由于数据的部分被×掉了，因而这破损数据一定程度上比较接近测试数据。人类具有认知被阻挡的破损图像能力，此源于我们高等的联想记忆感受机能