深度学习的基本理论与方法幻灯片.pptVIP

深度学习的应用 ? 深度学习在图像识别上的应用 空 间 金 字 塔 （ Spatial Pyramids ） 63 3/21/2020 深度学习的应用 ? 深度学习在图像识别上的应用 64 3/21/2020 深度学习的应用 ? 深度学习在图像识别上的应用 65 3/21/2020 深度学习的应用 ? 深度学习在图像识别上的应用 66 3/21/2020 深度学习的应用 ? 深度学习在图像识别上的应用 实验在 Caltech 256 数据集上，利用单特征识别， Sparse CRBM 性能最优 67 3/21/2020 深度学习的应用 ? 深度学习在音频识别上的应用 Convolutional DBN for audio Max pooling node Detection nodes Max pooling node Detection nodes 68 3/21/2020 深度学习的应用 ? 深度学习在音频识别上的应用 Convolutional DBN for audio 69 3/21/2020 深度学习的应用 ? 深度学习在音频识别上的应用 70 3/21/2020 深度学习的应用 ? 深度学习在音频识别上的应用 71 3/21/2020 深度学习的具体模型及方法 ? 稀疏自动编码器 (Sparse AutoEncoder) Filters Features Sparse Coding Input Patch 31 3/21/2020 深度学习的具体模型及方法 σ (Wx) Dz Input Patch x Sparse Features z e.g. Encoder filters W Sigmoid function σ (.) Decoder filters D L 1 Sparsit y Training ? 稀疏自动编码器 (Sparse AutoEncoder) 32 3/21/2020 深度学习的具体模型及方法 ? 稀疏自动编码器 (Sparse AutoEncoder) 1 ） Training 阶段： 给定一系列的样本图片[x1, x 2, …]，我 们需要学习得到一组基[Φ1, Φ2, …]，也就是字典。 可使用 K-SVD 方法交替迭代调整 a [k] ，Φ [k]，直至收敛，从 而可以获得一组可以良好表示这一系列 x 的字典。 33 3/21/2020 深度学习的具体模型及方法 ? 稀疏自动编码器 (Sparse AutoEncoder) 2 ） Coding 阶段 ： 给定一个新的图片 x ，由上面得到的字典，利 用 OMP 算法求解一个 LASSO 问题得到稀疏向量 a 。这个稀疏向 量就是这个输入向量 x 的一个稀疏表达。 34 3/21/2020 深度学习的具体模型及方法 ? 稀疏自动编码器 (Sparse AutoEncoder) 35 3/21/2020 深度学习的具体模型及方法 ? 降噪自动编码器 (Denoising AutoEncoders) ? 在自动编码器的基础上，对训练数据加入噪声，自动编码器 必须学习去去除这种噪声而获得真正的没有被噪声污染过的 输入。因此，这就迫使编码器去学习输入信号的更加鲁棒的 表达，这也是它的泛化能力比一般编码器强的原因。 36 3/21/2020 深度学习的具体模型及方法 ? Autoencoder (most Deep Learning methods) – RBMs / DBMs [Lee / Salakhutdinov] – Denoising autoencoders [Ranzato] – Predictive sparse decomposition [Ranzato] ? Decoder-only – Sparse coding [Yu] – Deconvolutional Nets [Yu] ? Encoder-only – Neural nets (supervised) [Ranzato] 37 3/21/2020 深度学习的具体模型及方法 ? 限制波尔兹曼机（ Restricted Boltzmann Machine ） ? 定义： 假设有一个二部图，同层节点之间没有链接，一层是可 视层，即输入数据层（ v) ，一层是隐藏层 (h) ，如果假设所有的 节点都是随机二值（ 0 ， 1 值）变量节点，同时假设全概率分布 p(v,h) 满足 Boltzmann 分布，我们称这个模型是 Restricted BoltzmannMachine (RBM) 。 38 3/21/2020 深度学习的具体模型及方法 ? 限制波尔兹曼机（ Restricted Boltzmann Machine