AI发展史-深度学习复兴三驾马车：数据、GPU与算法（2006-2012）.docxVIP

PAGE

PAGE1/NUMPAGES5

AI发展史·深度学习复兴三驾马车：数据、GPU与算法（2006-2012）

引言：万事俱备，只欠东风

2006年之前，人工智能领域陷入了漫长的寒冬。符号主义在专家系统的辉煌过后暴露出无法克服的知识获取瓶颈，而联结主义虽然在反向传播和卷积神经网络上取得了理论突破，却始终无法在真实世界的复杂任务上证明自己。研究者们手里已经有了多层网络的训练算法，有了卷积结构的灵感，却缺少两样最关键的东西——足够多的标注数据让网络真正学到东西，以及足够便宜的算力让训练在可接受的时间内完成。

2006年到2012年的六年间，三股力量的汇聚彻底改变了这一局面。杰弗里·辛顿在算法端打开了深层网络有效训练的突破口，李飞飞在数据端为全世界献上了史无前例的视觉知识库ImageNet，英伟达则在算力端将原本为游戏渲染而生的GPU改造为深度学习的最佳引擎。这三者并非某个人统一规划的结果，却在历史的巧合中形成了一辆不可阻挡的战车，将人工智能从寒冬拉出，推向了一场影响深远的范式革命。

本文将以图文分析的方式，逐一解析这“三驾马车”的来龙去脉与协同机制，还原深度学习复兴的关键历史时刻。

一、算法突破：深度信念网络点燃希望（2006）

1.深层网络为何难以训练

在2006年之前，训练深层神经网络面临着两大技术障碍。其一，梯度消失问题——使用Sigmoid激