深度学习讲义.ppt

Convolutional Neural Networks Convolutional Neural Networks 每层所含的平面数递增，这样可用于检测更多的特征信息。 Convolutional Neural Networks 卷积神经网络通过感受野和权值共享减少了神经网络需要训练的参数的个数。 1000x1000像素的图像，有1百万个隐层神经元，1000x1000x1000000=10^12个连接。 Convolutional Neural Networks 每一个神经元都连接10x10个图像区域，或者说每一个神经元存在10x10=100个连接权值参数，加上偏置是101个参数。如果每个神经元这101个参数是相同的。无论隐层的神经元个数为多少，两层间的连接，只有101个参数。这个101个参数，对应着一个滤波器，只提取了一种特征。 Convolutional Neural Networks 需要提取不同的特征，可以设计多个不同的滤波器。100个滤波器，就有1万多个参数。 训练算法与传统的BP算法差不多。 应用举例 深度学习在信号处理中的应用对象不仅包含语音、图像和视频，同样也包含文本、语言和传递人类可获知的语义信息。 Hierarchical Face Parsing via Deep Learning Hierarchical Face Parsing via Deep Learning Deep Learning Shape Priors for Object Segmentation Deep Learning Shape Priors for Object Segmentation Deep Learning Shape Priors for Object Segmentation 人脸姿态映射 深度学习（Deep Learning） 所有的内容均来自网络和相关论文。不是原创，仅限于学习交流。 背景 深度学习的基本概念 常用的模型 应用实例 背景 中间的三部分，概括起来就是特征表达。好的特征表达，对结果的准确性起了非常关键的作用，这一大部分占据了系统大量的计算和测试。实际中，这部分一般都是人工完成的。（SIFT,HOG,HAAR-LIKE，LBP等）。 背景 人工特征的选取需要大量的时间，需要专业知识和经验，能不能自动地学习一些特征呢？通过Deep Learning可以实现这一点。 背景 Deep Learning是模拟人的视觉信息处理。 人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征，再到V2区的形状或者目标的部分等，再到更高层。 高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越到高层越容易分类。 背景 就一个图片来说，像素级的特征没有价值。 V1层提取边缘特征，然后V2层是V1层这些特征的组合。 背景 浅层学习的理论，例如支撑向量机（SVM，Support Vector Machines）、 Boosting、最大熵方法（Logistic Regression）等。这些模型结构，有的含有一层隐含层，有的没有隐含层。 其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。 深度学习 I =S1=S2=…..=Sn = O。如果I=O，这个系统的信息没有任何损失。深度学习的思想就是设计多个层，上一层的输出作为下一层的输入。通过这种方式，就可以实现对输入信息进行分级表达了。 深度学习 深度学习的不同在于： 强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点； 通过逐层特征变换，将样本在原空间的特征（权值和偏置）表示变换到一个新特征空间。 深度学习 Deep Learning可以看成是神经网络的发展。传统神经网络的比较容易过拟合，训练速度比较慢。比如BP神经网络，如果层次达到7层以上。传播到最前面的层误差已经太小，对权值的影响很小。而且容易收敛到局部极小值。 深度学习 2006年前，尝试训练深度架构都失败了。 2006年的3篇论文改变了这种状况： 深度学习 深度学习过程： 使用自下上升非监督学习（就是从底层开始，一层一层的往顶层训练）。第一步就是特征提取的过程。 自顶向下的监督学习（就是通过分类的数据去训练，误差自顶向下传输，对网络进行微调）。 Deep learning效果好很大程度上取决于于第一步。 深度学习 常用模型 AutoEncoder Sparse AutoEncoder Restricted Boltzmann Machine (RBM) Denoising AutoEncoders Convolutional Neural Networks AutoEncoder 设计一个神经网络，训练