再论深度学习必死马库斯回应大质疑.docxVIP

再论深度学习必死马库斯回应14大质疑，重申深度学习怀疑论深度学习论战再起，NYT心理学家Gary Marcus如约写了一篇偏技术的文章，回应对他此前提出的深度学习问题的质疑。无监督学习适用于什么问题？为什么不说深度学习更好的方面？马库斯说，尽管他提出了所有这些问题，但他并不是认为我们需要放弃深度学习。相反，我们需要重新定义它：不是作为一种通用的方法，而是作为众多工具中的一种。马库斯和LeCun的深度学习论战从未停止。新年伊始，纽约大学认识心理学家马库斯发文，列出深度学习十大局限，引发广泛讨论。很快，LeCun、AAAI前主席Thomas Dietterich等人都加入到讨论中。LeCun更有甚至还抛出“深度学习已死”的言论。马库斯此前回应，他会写一篇偏技术的文章回应种种质疑。现在，这篇文章来了——“任何真理都要经历三个阶段：第一，被嘲笑；第二，被激烈反对；最后，被理所当然地普遍接受。”——叔本华我在最近一篇评价深度学习的文章（Marcus，2018）中，概括了深度学习的十大挑战，并提出深度学习本身虽然有用，但它不可能实现通用人工智能。我建议把深度学习视为“一种非普遍的解决方法，而只是一种工具。”相比纯粹的深度学习，我呼吁混合模型，不仅包括深度学习的监督形式，还包括其他技术，例如符号处理（symbol-manipulation），以及无监督学习（它本身也可能被重新概念化）。我也敦促社区考虑将更多的内在结构纳入AI系统。在这篇文章发表之后，几天之内，成千上万的人在推特上发表了自己对这个问题的看法，有些人热情支持我的论点（例如，“这是我多年来读到的有关深度学习和AI的最好的观点），有些相反（例如，“有思考......但大部分都是错误的”）。我认为澄清这些问题非常重要，因此我编了一份14个常见问题的列表。无监督学习适用于什么问题？为什么我不说深度学习更好的方面？最初是什么让我有权利去讨论这个问题？问一个神经网络从偶数到奇数的泛化是怎么回事？等等，还有更多问题，在这里我没能全部列出，但我尽量做到有代表性。1. 什么是通用智能？机器学习领域的著名教授Thomas Dietterich的评论是我迄今为止看到的最全面、最清晰的，他给出了一个很好的答案：“通用智能”是一个可以在广泛的目标和环境中智能地行动的系统。例如，参见Russell和Norvig的教科书，他们对智能的定义是“理性行事”。2. 马库斯对深度学习的看法不友好。他应该对深度学习取得的巨大成就多说一些好话。但他将深度学习的其他成就最小化了。Dietterich提出了这两点，他写道：Gary Marcus 的文章令人失望。他几乎绝口不提深度学习取得的成就（例如自然语言翻译），并且最大限度地贬低了其他的成就（例如说有 1000 个类别 ImageNet“非常有限”）。前半部分说的没错，我确实可以说更多积极的东西。但并不是我“绝口不提”。我也没有不提Dietterich说的这些例子。我在文章的第一页就提到了：自那以后，深度学习在语音识别、图像识别、语言翻译等领域取得了许多最先进的成果，并在当前AI的广泛应用中起着重要作用。在文章后面的部分，我引用了几篇优秀的文章和优秀的博客，提到了无数的例子。不过，这些例子大部分都不算是AGI（通用人工智能），这是我的论文的主要关注点。（例如，谷歌翻译固然非常令人印象深刻，但它不是通用的；它不能回答关于它所翻译的内容的问题，而人类译者能。）Dietterich的批评的后半部分更具实质性。1000个类别真的“非常有限”吗？是的，与人类认知的灵活性相比，这非常有限。认知科学家通常把一个人所知道的原子概念（atomic concept）的数量定为5万个，我们可以很容易地把这些概念组合成为数量更多的复杂想法。这5万个概念中，“宠物”和“鱼类”可能算在里面，但“宠物鱼”可能就没有算进去。而且我们可以很容易地理解“患上白点病的宠物鱼”这个概念，或者意识到“刚买了一只宠物鱼，就发现它感染了白点病，这非常令人失望”这样的概念（这是儿时的经历，现在仍然感到不满）。我能表达多少种想法呢？ 比1000要多得多。我不是很确定一个人能够识别多少视觉类别，但我认为这个数字大致是差不多的。你可以试试在谷歌图像搜索“宠物鱼”，结果会不错；然后你再试试搜索“佩戴护目镜的宠物鱼”，你会发现出来的大部分图片是戴着护目镜的狗，误报率超过80％。机器在辨别狗的品种的任务上准确率超过了非专业的人类，但在解释复杂场景时，人类大幅领先，例如解释一个背着背包而不是背着降落伞的跳伞运动员会发生什么。在我看来，把机器学习的领域集中在1000个类别块上，本身就是一种伤害。这是为了一种短期的成功，因为它避开了更困难、更开放的问题（例如场景和句子理解），而这些问题最终是必须解决的。相对于我们人类可以看到和理解的句