深度学习大神解答机器学习与AI发展.docVIP

深度学习大神解答机器学习与AI发展 　　Yoshua Bengio，计算机科学家，毕业于加拿大麦吉尔大学，在MIT和ATT贝尔实验室做过博士后研究员，自1993年之后在蒙特利尔大学任教，与 Yann LeCun（燕乐纯）、 Geoffrey Hinton并称为“深度学习三巨头”，也是神经网络复兴的主要的三个发起人之一。 　　他对机器学习爱好者提问的各种解答让我们能深入了解深度学习及AI（人工智能）未来发展趋势。 　　Q：理解大脑对于理解深度学习来说有多重要？反过来呢？ 　　A：就像许多早期从事神经网络研究的人（包括我的同事Geoff Hinton和Yann LeCun）一样，我相信，当我们思考我们对于大脑已经知道了什么的时候，我们会有不错的机会来从中学习一些对于搭建AI来说有用的东西，并且这一点随着神经科学家们收集了越来越多的大脑数据而变得越来越确定。 　　这个信念与相反的想法也是有联系的――为了真正理解为何大脑让我们拥有智能，我们需要对于大脑中发生的事构建一个“机器学习”的解释，也就是说，搭建一个计算的、数学的模型来解释我们的大脑是怎样学习如此复杂的东西、又怎样表现出如此成功的信度分配的。 　　为了验证这个解释，我们应该能够运行一种机器学习算法，它拥有从神经生物学中提取出来的基本原则，但它没有必要理解这些原则（但是可能有必要将这些原则在它的“大脑”中实现，或是为它提供一些我们与生俱来的知识）。就我所知而言，我们还没有明白，脑内神经元突触应该怎样产生变化，才能让作为一个整体的大脑对于世界有更好的理解、做出更好的行为。这是这些日子经常在我脑海中徘徊不去的话题之一。 　　Q：有没有深度学习永远不能学会的东西？ 　　A：这取决于你说的深度学习指什么。如果你指的是现在我们知道的算法，那么答案很有可能是“是的”。但是，毫无疑问，随着这个领域的研究不断探索，深度学习还在继续演化，很明显深度学习的应用范围有不断扩大的趋势。 　　神经网络曾经在模式识别问题上非常成功，音素识别和物体识别都是很好的例子。然而，我们可以看到越来越多神经网络方面的工作正在靠近传统的AI领域，比如推理、知识表征、以及操作符号数据。我相信，这些近期的工作只不过是冰山一角，当然我的手里并没有水晶球来做预言。如果我们未来对于深度学习的定义中，包括了以受神经启发的算法来复制所有人类认知能力的能力，那么“这个领域中没有深度学习学不会的事情”的假设就是相当合理的。 　　不过，到时候，可能会有一些人类永远不能学会的任务，对于这些任务，很容易得出结论：没有机器能完美地完成这些任务，因为用来训练的样本数量太局限了。 　　Q：深度学习研究将去往何方？ 　　A：研究从定义上来说就是在不断探索的，这意味着首先我们不知道什么能起效，其次我们需要探索许多途径，我们需要整个科学社区在研究方向上有很大的差异性。所以我只能告诉你我目前的直觉，我在哪些地方看到吸引了我直觉的重要挑战和机遇。下面是其中的一些： 　　（1）非监督式学习是关键，我们现在的做法还并不正确（我和其他人在这一方面写过、说过很多观点试图纠正）。 　　（2）深度学习研究可能会继续扩张，从原本的传统模式识别任务扩张到AI的全部任务，包括符号操作、记忆、规划和推理。这对于完整地理解自然语言和与人对话（即通过图灵测试）来说将会非常重要。相似的是，我们见证着深度学习正在延伸到强化学习、控制以及机器人学的领域，而这只不过是一个开始。 　　（3）对于AI，我们可能仍然需要再获得许多知识，更好地理解大脑并尝试找到大脑运作的机器学习解释。 　　（4）最大似然可以加以改进，当在复杂的高维度领域中学习时（非监督式学习和结构化输出情景中兴起的情况），它不一定是最佳的目标。 　　（5）基于深度学习的AI（不只是消费者产品）将会很大地受益于计算力的大幅提高，这可能意味着出现专门的硬件；这是因为AI需要大量关于世界的知识（然后对它们进行推理），这就需要用非常大量的数据来训练大型模型，这一切都需要比我们现在使用的高得多的计算力。 　　Q：为什么非监督学习很重要？深度学习在其中起什么作用？ 　　A：深度学习其实是关于学习表征方式，这意味着学习有益于捕捉我们所关注的统计相关性的中间概念、特征或隐性变量。这些相关性来自于从输入变量到输出变量的监督学习过程，或在变量的任何子集之间的非监督学习过程。通常来说，监督学习用于教电脑学会对解决特定任务很重要的中间概念（例如类别）。然而，我们看到监督式深层网络在它们的网络层中可以发掘出有意义的中间概念。非监督学习很相似，不同在于我们让模型捕捉了所有变量之间可能的相关性，不区别输入和输出。用监督学习来完成AI可能需要让电脑从所有与这些概念有关的数据集中学会所有对我们很重要的概念。这不是人类的