20-深度学习萌芽阶段（2006-2012）：逐层预训练与神经网络优化.docxVIP

深度学习萌芽阶段（2006-2012）：逐层预训练与神经网络优化

一、概述：浅层机器学习的终结与深度网络复兴

1993–2006年的经典机器学习时代，依托统计学习与浅层算法完成了AI的产业复苏，SVM、决策树、贝叶斯模型等算法成为产业主流。但这套体系存在无法突破的底层桎梏：极度依赖人工特征工程、无法自主提取深层抽象特征、海量数据利用率极低。随着互联网大数据快速积累、硬件算力稳步升级，浅层模型的性能天花板彻底显现，行业亟需全新的技术范式突破。

2006年成为人工智能史上又一个关键分水岭，辛顿（GeoffreyHinton）团队提出逐层贪婪预训练与深度信念网络技术，成功解决了困扰神经网络数十年的梯度消失、深层网络无法训练的核心难题，正式宣告深度学习萌芽、连接主义复兴。2006–2012年作为深度学习的蛰伏萌芽期，核心完成了深层神经网络的理论修复、训练算法优化、模型架构迭代，为2012年AlexNet引爆深度学习革命、开启AI现代爆发时代筑牢全部基础。

本文为《AI历史与技术概述》系列第20篇通识内容，承接经典机器学习时代篇章，系统复盘深度学习萌芽期的技术困境、核心突破、逐层预训练原理、网络优化体系、关键技术成果与时代铺垫价值，完整串联AI从浅层统计学习到深度表征学习的范式跃迁。

二、时代背景：深度学习复兴的前置条件

深层神经网络并非2006年新生事物，早在80年代反向传播算法诞生后