- 21
- 0
- 约24.7万字
- 约 257页
- 2026-01-14 发布于广东
- 举报
大语言模型
基础与前沿
目录
第1章大语言模型:辩论、争议与未来发展方向1
1.1新时代的曙光1
1.2LLM有意识吗3
1.2.1理解LLM的层次结构3
1.2.2意识是否需要碳基生物学4
1.2.3具身化与落地4
1.2.4世界模型7
1.2.5沟通意图8
1.2.6系统性和全面泛化9
1.3未来发展方向10
1.4小结13
第2章语言模型和分词15
2.1语言建模的挑战16
2.2统计语言建模16
2.3神经语言模型18
2.4评估语言模型19
2.5分词19
2.5.1按空格分割20
2.5.2字符分词21
2.5.3子词分词21
2.5.4无分词器24
2.5.5可学习的分词25
2.6小结27
第3章Transformer29
3.1Transformer编码器模块29
3.2编码器-解码器架构31
3.3位置嵌入32
3.3.1绝对位置编码32
3.3.2相对位置编码34
3.4更长的上下文38
3.5外部记忆42
3.6更快、更小的Transformer45
3.6.1高效注意力45
3.6.2条件计算47
3.6.3搜索高效Transformer48
3.6.4在单个GPU上一天内训练一个语言模型49
3.7推理优
原创力文档

文档评论(0)