深度学习不是学习英特尔高管与AI大牛LeCun展开互怼.PDFVIP

深度学习不是学习” ：英特尔高管与 AI 大牛 LeCun 展 开互怼 人工智能2019-02-25 英特尔神经形态计算实验室主任 Mike Davies 在国际固态电路会议 （ISSCC ）上将深 度学习批判了一番。 Davies 说 ，深度学习跟大多数人印象中的并不一样 ，它只是一种优化程序 ，实际上 并不是真正在 “学习”。 受到攻击的重灾区 ，还是深度学习中的反向传播算法。 他说 ，反向传播与大脑无关 ，而只是在深度学习计算机程序中用来优化人工神经元响 应的一种数学技术。 自然的反向传播例子 ，并不存在。 虽然他承认深度学习现在非常有效 ，但他也坚定地强调里 ，大脑才是真正智能计算的 范例。 Davies 死死抓住不放的 “不像大脑”这个问题 ，也正是深度学习教父 Hinton 一直重 视的。 不过对于这次批判本身 ，美国媒体 ZDNet 认为 ，他主要的攻击 目标其实是 Yann LeCun。 深度学习vs.神经形态计算之争 为何攻击 LeCun ？ 就在周一 ，这位 AI 大牛在同一个学术会议上发言时 ，顺便批判了 Davies 在搞的神经 形态计算。 神经形态计算是英特尔布局的一个重要新兴方向 ，在这个领域 ，他们推出了芯片样品 Loihi。英特尔说 ，这种芯片可以实现自主学习 ，而且能耗只有传统芯片的千分之一。 而 Davies 就是神经形态计算实验室的负责人 ，主管着英特尔在这一领域的探索。他 参加 ISSCC 会议 ，也是来讲 Loihi 的。 Loihi 用了一种名叫尖峰神经元 （spiking neurons ）的技术 ，这类神经元只有在输入 样本后才能被激活。 神经形态计算倡导者们认为 ，这种方法更好地模拟了大脑的运行机制 ，比如说信号传 递的过程就像大脑一样经济。 在 LeCun 看来 ，神经形态计算领域没有产生有实际效果的算法 ，为何要为一种没用 的算法构建芯片 ？ 不过 Davies 直接表达了反对 ，他说 ，神经形态计算产生的算法是有效的 ，LeCun 忽 视了神经形态计算的优势。 Davies 说 ： “LeCun 反对尖峰神经元 ，但他却说我们需要解决硬件中的稀疏性 ，尖 峰神经元就是干这个的啊。” 他说 ，这太讽刺了。 为了驳斥对尖峰神经元的批评 ，Davies 引用了安大略滑铁卢一个名叫应用脑科学 （Applied Brain Science ）的机构的数据 ，比较了一种语音检测算法在不同芯片上 的表现。 这个算法被要求识别 “aloha”这个词 ，并且拒绝无意义词语 ，这家机构在 CPU、GPU 和 Loihi 芯片上运行了这一算法。 这份数据显示 ，Loihi 在常规处理器上运行常规神经网络性能最佳 ，特别是在计算速 度方面 ，并且能源效率更高 ，不过精确度会低一些。 在另一个例子中 ，Davies 说 Loihi 执行的基本分类器任务的速度是传统的基于 GPU 的深度学习网络的 40 倍 ，准确度提高了 8％。 因此 ，Davies 认为 Loihi 效率高得多 ，可以运行规模越来越大的网络 ，他认为 ，机器 人控制将会是 Loihi 这类神经形态芯片的杀手级应用。 Davies 还从 LeCun 的批评挑出了他认同的一点 ：尖峰神经元的硬件非常充足 ，提供 了很多工具来映射有趣的算法。 针对这句话后边隐含的 “但是软件算法层面不行” ，Davies 说 ，他的团队当前目标 就是在算法上取得进展 ，算法确实拖了这个领域的后腿。 在推特上 ，也有人隔空参与了这场辩论。 有人认为 ，神经形态计算就像量子计算一样处在起步阶段 ，所以没什么可批判的。 也有人觉得深度学习已经在许多领域内取得了成果 ，量子计算和神经形态计算还差得 远 ，虽然技术很尤其 ，但两者都没有被证实 ，而且都没有编程模型。 其实 ，这场 LeCun 和 Davies 的争斗 ，除了学术方面之外 ，另外不得不考虑的一点就 是 Facebook 和英特尔的商业竞争。 周一 ，LeCun 表示 Facebook 内部正在开发 AI 芯片 ，一旦 Facebook 自己的芯片研 发成功 ，那就不需要使用英特尔的芯片了 ，甚至还会抢走英特尔的客户。 看完这场隔空口水战的来龙去脉 ，我们把目光收回到 Davies 指责的核心 ：反向传播。 训练深度学习模型离不开它 ，但对它的质疑也接连不断。 反向传播到底行不行？ 反向传播 ，生于 1986 ，出自 David Plaut、Steven Nowlan、Geoffrey Hinton 在 卡耐基梅隆大学（CMU ）时发表的 Nature 论文 ：Expe