陶柯霏 :神经网络中的顿悟.docx

目录

1.历史

1.1顿悟的发现

2.相关基础知识

2.1神经网络的记忆(Memorization)与泛化(Generalization)

2.2神经网络中的涌现(EmergentAbilities)

2.3早停机制(EarlyStop)

3.顿悟的场景

3.1模运算

3.2其他算法任务

3.3非算法任务

3.4大语言模型

4.顿悟现象的可解释性分析

4.1结构化表征

4.2时钟和披萨算法

4.3控制权之争

4.4参数空间

4.5特征学习

5.促进顿悟的方法

5.1权重范数

5.2慢梯度增强(SlowGradientAmplification)

5.3

文档评论(0)

1亿VIP精品文档

相关文档