深度学习及其应用机器学习学术报告.ppt

场景标注视频 CNN 卷积神经网络的网络结构 卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成。 输入图像通过和三个可训练的滤波器和可加偏置进行卷积，卷积后在C1层产生三个特征映射图，然后特征映射图中每组的四个像素再进行求和，加权值，加偏置，得到三个S2层的特征映射图。这些映射图再进过滤波得到C3层。这个层级结构再和S2一样产生S4。最终，这些像素值被光栅化，并连接成一个向量输入到传统的神经网络，得到输出。 CNN C层为特征提取层，每个神经元的输入与前一层的局部感受野相连，并提取该局部的特征； S层是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射为一个平面，平面上所有神经元的权值相等。 ?卷积神经网络中的每一个特征提取层（C-层）都紧跟着一个用来求局部平均与二次提取的计算层（S-层），这种特有的两次特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力。 关于参数减少与权值共享 CNN一个优势在于通过感受野和权值共享减少了神经网络需要训练的参数的个数。 图像的空间联系是局部的，就像人是通过一个局部的感受野去感受外界图像一样，每一个神经元都不需要对全局图像做感受，每个神经元只感受局部的图像区域，然后在更高层，将这些感受不同局部的神经元综合起来就可以得到全局的信息了。这样，我们就可以减少连接的数目，也就是减少神经网络需要训练的权值参数的个数了。 一个典型的例子说明 ?一种典型的用来识别数字的卷积网络是LeNet-5。当年美国大多数银行就是用它来识别支票上面的手写数字的。能够达到这种商用的地步，它的准确性可想而知。 一个典型的例子说明 ? LeNet-5共有7层，不包含输入，每层都包含可训练参数（连接权重）。输入图像为32*32大小。这样做的原因是希望潜在的明显特征如笔画断电或角点能够出现在最高层特征监测子感受野的中心。 ???? 卷积神经网络的优点 它可以直接处理灰度图片，能够直接用于处理基于图像的分类。 卷积网络较一般神经网络在图像处理方面有如下优点： a）输入图像和网络的拓扑结构能很好的吻合； b）特征提取和模式分类同时进行，并同时在训练中产生； c）权重共享可以减少网络的训练参数，使神经网络结构变得更简单，适应性更强。 视频（feifeili） Deep learning总结 深度学习是关于自动学习要建模的数据的潜在（隐含）分布的多层（复杂）表达的算法。 对于机器视觉，深度学习算法从原始图像去学习得到它的一个低层次表达，例如边缘检测器，小波滤波器等，然后在这些低层次表达的基础上再建立表达，例如这些低层次表达的线性或者非线性组合，然后重复这个过程，最后得到一个高层次的表达。 Deep learning总结 Deep learning能够得到更好地表示数据的feature，同时由于模型的层次、参数很多，因此，模型有能力表示大规模数据，所以对于图像、语音这种特征不明显（需要手工设计且很多没有直观物理含义）的问题，能够在大规模训练数据上取得更好的效果。 Deep learning未来 深度学习目前仍有大量工作需要研究。目前的关注点还是从机器学习的领域借鉴一些可以在深度学习使用的方法，特别是降维领域。 稀疏编码，通过压缩感知理论对高维数据进行降维，使得非常少的元素的向量就可以精确的代表原来的高维信号。 半监督流行学习，通过测量训练样本的相似性，将高维数据的这种相似性投影到低维空间。 evolutionary programming approaches（遗传编程方法），它可以通过最小化工程能量去进行概念性自适应学习和改变核心架构。（2004年机器产生的算法与2000年人工产生的发明类似，甚至两项可以直接申请发明专利） Deep learning问题 （1）对于一个特定的框架，对于多少维的输入它可以表现得较优（如果是图像，可能是上百万维）？ （2）如何对于一个给定的深度学习架构，融合多种感知的信息？ （3）有什么正确的机理可以去增强一个给定的深度学习架构，以改进其鲁棒性和对扭曲和数据丢失的不变性？ （4）模型方面是否有其他更为有效且有理论依据的深度模型学习算法？ Deep learning问题 探索新的特征提取模型是值得深入研究的内容。此外有效的可并行训练算法也是值得研究的一个方向。通常办法是利用图形处理单元加速学习过程。然而单个机器GPU对大规模数据识别或相似任务数据集并不适用。在深度学习应用拓展方面，如何合理充分利用深度学习在增强传统学习算法的性能仍是目前各领域的研究重点。 参考资料 Thank you for listening！ 3、结构性特征表示 在不同object上做training时，所得的edge basis 是非常相似的，但object