深度学习汇报讲解.pptx

Deep Learning 深度学习 单东晶 2015.12.7;;;实例1-Google Brain;Google Brain;实例2-微软同声传译;实例3-百度深度学习研究院;;;背景;机器学习解决这些问题的传统思路： 通过传感器（例如CMOS）来获得数据，经过预处理、特征提取、特征选择，再到推理、预测或者识别。;好的特征具有不变性（大小、尺度和旋转等）和良好的可区分性。;;人脑视觉机理;人脑视觉抽象过程;抽象的意义;抽象的数学模型-稀疏编码;稀疏编码（图像）;从未标注的声音中提取20种基本的声音结构，其余的声音可以由这20种基本结构合成。 稀疏编码符合对人脑视觉系统的生理发现，外界信号一般会刺激相应的脑神经元。;;Deep Learning基本思想;Deep Learning的常用模型;;自动编码（AutoEncoder）是一种无监督的机器学习技术，利用神经网络产生的低维来代表高维输入。 优化目标是输出值 等于输入值，当 隐藏节点数小于输 入节点时，就实现 了降维。可学习出 与PCA非常相似的 降维表示。 ;;(2) 通过编码器产生特征，然后训练下一层，每层均设解码器限制重构误差，这样逐层训练。 (3) 将最后层的特征code输入到最后的分类器，通过有标签样本，通过监督学习进行微调。 ;;;通过重构误差构造损失函数，再极小化损失函数求解出编码器参数 重构误差函数可以有两种方式;;Regularized AutoEncoder 相应损失函数加入编码权值矩阵的正则项，对过大的权值进行惩罚。 Sparse AutoEncoder;Sparse AutoEncoder 的数学模型 Sparse AutoEncoder 对隐藏层上的神经元激活度提出要求，要求满足一定的稀疏性。;;训练完（稀疏）自编码器，我们还想把这自编码器学到的函数可视化出来，好弄明白它到底学到了什么。 在该自编码器中，每个隐藏单元i的输出为： 什么样的输入图像可让a得到最大程度的激励？（也就是隐藏单元要找个什么样的特征？） 可证令隐藏单元得到最大激励的输入应由下面公式计算的像素给出（共需计算100个像素，j=1,…,100）： ;假如我们训练的自编码器有100个隐藏单元，可视化结果就会包含100幅这样的图像（每个图像是学习到的特征基向量）——每个隐藏单元都对应一幅图像。 ;Sparse AutoEncoder练习;Thanks!