神经网络架构演进与算法创新进展评述.docxVIP

神经网络架构演进与算法创新进展评述

目录

神经网络架构演进的发展历程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.1初始阶段模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

1.2深度学习的崛起．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.3注意力机制的引入．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.4生成模型的兴起．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

1.5后深度学习时代的挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

神经网络算法的创新驱动．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

2.1损失函数与优化算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

2.2网络结构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

2.3注意力机制的深入研究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

2.4生成模型的算法突破．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

2.5图神经网络的