AnnotationsaboutDeepLearning.doc

第一部分：Yann Lecun谈深度学习 “用8个单词解释深度学习” IEEE Spectrum：这些天我们看到了许多关于深度学习的新闻。在这些对深度学习的众多描述中，你最不喜欢哪一种？ Yann LeCun：我最不喜欢的描述是“它像大脑一样工作”，我不喜欢人们这样说的原因是，虽然深度学习从生命的生物机理中获得灵感，但它与大脑的实际工作原理差别非常非常巨大。将它与大脑进行类比给它赋予了一些神奇的光环，这种描述是危险的，这将导致天花乱坠的宣传，大家在要求一些不切实际的事情。人工智能之前经历了几次寒冬就是因为人们要求了一些人工智能无法给与的东西。 Spectrum：因此，如果你是一名关注深度学习的记者，而且像所有新闻记者所做的那样，只用八个单词去描述它，你会说什么？ LeCun：我需要考虑一下。我想将会是“学着描绘世界的机器”（machines that learn to represent the world）。可能另外一种描述是“端对端的机器学习”（end-to-end machine learning）。这种理念是：在一个能够学习的机器中，每一个组件、每一个阶段都能进行训练。 Spectrum：你的编辑可能不大喜欢这样。 LeCun：是的，公众将无法理解我所表达的意思。好吧，有另外一种方法。你可以把深度学习看作是，通过整合大量能够基于相同方式训练的模块和组件来构建拥有学习能力的机器，比如说模式识别系统等。因此，需要一个能够训练每个事物的单一原则。但这又超过了八个字。 Spectrum：有哪些事情是深度学习系统可以做，而机器学习无法做到的？ LeCun：这是个更好的问题。之前的系统，我想我们可以称之为“肤浅的学习系统”，会受系统能计算的函数的复杂度的限制。因此，如果你使用一个类似于“线性分类器”的肤浅学习算法来识别图像，你将需要从图像中提取出足够多的参数特征来提供给它。但手动设计一个特征提取器非常困难，而且很耗时。或者使用一个更加灵活的分类器，比如说“支持向量机”或者两层神经网络，直接将图片的像素提供给它们。而问题是这不会提高物体识别的准确性。 Spectrum：这听起来不像是一个简单易懂的解释，或许这就是为什么那些记者会尝试着把深度学习描述成…… LeCun：像我们的大脑。 “有开关的黑盒子” Spectrum：其中有一个问题是，机器学习是一个非专业人士极其难以接近的研究领域。一些经过教育的外行能够理解一些半技术性的计算问题，比如说谷歌使用的PageRank算法，但我敢打赌只有教授才能对线性分类器和向量机了若指掌，这是因为该领域从本质上就很复杂难懂吗？ LeCun：事实上，我认为机器学习的基础原理非常简单易懂。我曾经向高中的老师和学生解释过这一主题，并没有让其中的许多人觉得枯燥乏味。模式识别系统就像一个黑盒子，背面装有摄像头，顶上有一个红灯和一个绿灯，前面装有一连串开关。比如说一种尝试着调节开关的学习算法，当一条狗出现在摄像头中时控制开关使红灯亮起；当一辆车出现在摄像头中时控制开关使绿灯亮起。为了训练该算法，你将一条狗放在机器面前，如果红灯亮起，什么都不做。如果光线模糊，扭动旋钮使灯变亮。如果绿灯亮起，扭动旋钮使灯光变暗；接下来换成汽车，扭动旋钮使红灯变暗或绿灯变亮。如果你进行多次尝试，并且保持每次都对旋钮进行逐渐微调，最终，机器每次都能得出正确答案。有趣的是它能正确的区分开它从未见过的汽车和狗。窍门在于要计算出每次扭动旋钮的方向和幅度，而不是乱动一气。这包含对“梯度”的计算，旋钮的每次扭动代表着灯光的相应改变。现在想象一下，有个盒子拥有5亿个旋钮、1000个灯泡，用1000万张图来训练它，这就是一个典型的深度学习系统。 Spectrum：我认为你用“肤浅的学习”这个词好像有些不太严谨；我不认为那些使用线性分类器的人会认为他们的工作很“肤浅”。之所以用“深度学习”这个表述难道就没有媒体宣传的因素在里面？因为这看起来好像它学到的东西很有深度，但实际上，“深度”仅仅是指这个系统的级数？ LeCun：是的，是有点儿滑稽，但这反映了真实情况：肤浅学习系统有一层或两层，而深度学习系统一般有5-20层。肤浅还是深度指的并不是学习行为本身，而是指被训练的结构。 “与神经学划清界限” Spectrum：你看起来一直在竭尽全力的将你的工作与神经科学和生物学拉开距离。例如，你提到了“卷积网络”，而不是“卷积神经网络”。你在你的算法里提到了“单位/个体”（units），而非“神经元”。 LeCun：的确如此。我们模型中的一些部分从神经科学中获得了灵感，但还有相当多部分与神经科学毫不相干，相反，它们是来源于理论、直觉和经验探索。我们的模型不希望变成大脑的模型，我们也没有宣称神经科学方面的相关性。但同时，如果说卷积网络的灵感来源于一些关于视觉