(完整word版)专家展望未来5年深度学习技术的发展.docVIP

专家展望未来 5 年深度学习技术的发展 2015 年 12 月 29 日，美国科技资讯网 Re-work 发文，总 结了多位深度学习专家对未来 5 年深度学习技术的发展预 测。（ 1）人工智能研究机构 OpenAI 的研究主任 Ilya Sutskever ： 我们可以期待看到更多更深的模型。与现有模型相比，这些 模型需要的训练案例更少。我们可以期待看到更精确和更有 用的语言与视觉识别系统。 （ 2）波恩大学自动智能系统集团教授及主管 Sven Behnke：我希望深度学习方法能够被应用到越来越多具有更多数据结构的多模态问题中，如机器人、 数据挖掘和知识发现。（ 3）谷歌高级科学家 Christian Szegedy： 目前的深度学习算法和神经网络技术的表现远远低于其理论上能够达到的性能。今天，仅仅通过改进网络结构和使用更好的培训方法，我们设计出的视觉网络就可以比一年前使 用昂贵部件的系统便宜 5-10 倍、参数少 15 倍，却具有更好的性能。我相信这只是一个开始：深度学习算法将会变得更加有效，使它们可以运行在更廉价的移动设备上，甚至不需 要额外的硬件支持和高昂的存储开销。 （ 4）斯坦福大学计算机科学博士研究生、 OpenAI 研究所科学家：我看到的一个趋势是系统架构正在迅速地变得更大更复杂。我们正向着构建大型神经系统发展。这种系统允许我们添加和撤换神经部 件、在各种数据集上预训练网络的某个部分、 添加新的模块、 联合调整任何内容，等等。例如，卷积网络曾是最大、最深 的神经网络架构，但现在它已经被看作大多数更新架构里图 标中的一个小盒子。接下来，很多这样的架构也会变成为未 来新架构中的一个小盒子。 （ 5）加州大学伯克利分校计算机 科学副教授、 Gradescope 网联合创始人 Pieter Abbeel：当前 有很多基于深度监督学习和视频缩放技术的行业，正在努力 使深度学习超越当前自然语言处理的方法，并在深度无监督 学习和深度强化学习方面取得重大进展。 （ 6）深度学习初创公司 Deep Instinct 的首席技术官 Eli David ：过去两年我们见证了深度学习技术在它的大多数应用领域取得了越来越大的成功。未来五年里，即使我们不能实现人类水平的认知这 个“圣杯”（尽管这极有可能在我们的有生之年发生） ，我们也将在其他很多领域看到巨大的进步。特别地，我认为最有 前途的领域是无监督学习，因为其中的数据是没有标签的，而我们的大脑新皮层也基本上是一个非常好的无监督学习 盒。（ 7） Deep Instinct 是第一个将深度学习技术应用到网络安全的公司，我预计未来几年能够看到更多利用这种技术的公司。然而，深度学习的门槛仍然很高，尤其是对那些不经常使用人工智能方法的网络安全公司（例如，很少看到使用典型机器学习技术的解决方案） 。因此，还需要几年时间才能让深度学习技术成为网络安全领域中一种广泛使用的商 品化技术。（ 8）情绪识别公司 Affectiva 的研究主任 Daniel McDuff ：在计算机视觉、语音识别和其他一些领域，深度学习已经成为机器学习的主要形式。我预计基于一两个图形处理器建造精确识别系统的能力能够让研究者建造并部署现实世界的新软件。由于数据量会保持持续增长，我预计将看 到无监督或半监督的训练算法得到更多关注。 （ 9）加拿大高级研究所（ CIFAR ）学者 J?rg Bornschein：预测未来总是很困难。我认为无监督、半监督和强化学习方法的作用将比现在大得多。如果我们把机器学习作为一个更大系统的一部 分，例如机器人控制系统或者集中了很多计算资源的更大系统，就会很容易发现纯粹的监督学习模式对解决这类问题是 远远不够的。（ 10）谷歌高级科学家 Ian Goodfellow ：我认为在五年内，我们能获得可以从视频剪辑中总结出事件并能够 制造短视频的神经网络。神经网络已经成为视觉任务的标准解决方案，我期望它也能成为神经语言编程和机器人任务的标准解决方案。我还预计神经网络将成为另外一些科学领域的重要工具。例如，神经网络可以通过训练为基因、药物和 蛋白质等建模，然后用来设计新的药物。 （ 11）情感技术公司 Sentient Technologies 的首席技术官 Nigel Duffy ：目前大数据生态系统一直专注于海量数据的收集、管理和综合处理。 很明显，在分析和预测方面也有了大量工作。但企业用户根本不关心这个问题，他们只关心结果，例如“这个数据会改变我的行为方式吗？它会改变我的决定吗？”我们认为这是 未来 5 年内要解决的关键问题，而且我们相信人工智能将成为数据和更好的决策之间的桥梁。显然，深度学习将在这个演化中扮演重要角色，但它将与其他人工智能方法相结合。 在未来的五年中， 我们将看到越来越多的